Attention Sink产生的起点?清华&美团揭秘MoE LLM中超级专家机制
稀疏激活的混合专家模型(MoE)通过动态路由和稀疏激活机制,极大提升了大语言模型(LLM)的学习能力,展现出显著的潜力。基于这一架构,涌现出了如 DeepSeek、Qwen 等先进的 MoE LLM。
稀疏激活的混合专家模型(MoE)通过动态路由和稀疏激活机制,极大提升了大语言模型(LLM)的学习能力,展现出显著的潜力。基于这一架构,涌现出了如 DeepSeek、Qwen 等先进的 MoE LLM。
在本文中,我会分享一些改进 RAG(检索增强生成)应用程序中检索的出色技术。最近在一个客户项目中使用了这些技术,将系统的召回率从大约 50-60% 一直提高到 95% 及以上。
从一开始的语言润色和结构优化,到如今直接参与段落生成,先不说正确程度如何,如我们所见,AI正在走进更多的学术写作过程之中。最近发表在《Nature Human Behaviour》上的一项研究,首次以大规模统计方式量化了这一趋势。
随着 Gemini-Diffusion,Seed-Diffusion 等扩散大语言模型(DLLM)的发布,这一领域成为了工业界和学术界的热门方向。但是,当前 DLLM 存在着在推理时必须采用预设固定长度的限制,对于不同任务都需要专门调整才能达到最优效果。
近日,开源机器学习框架 PyTorch 迎来了全新版本2.8的正式发布。这一版本的发布备受关注,主要集中在提升量化大语言模型(LLM)的推理性能,尤其是在 Intel CPU 上的表现。此次更新不仅显著增强了在离线模式下的推理效率,还首次实验性支持了 Inte
国家知识产权局信息显示,江西电信信息产业有限公司申请一项名为“基于LLM大小模型协同训练的方法、介质及设备”的专利,公开号CN120449937A,申请日期为2025年04月。
可验证奖励强化学习(Reinforcement Learning with Verifiable Rewards, RLVR)是一种基于参考标准的训练范式,其核心在于通过基于规则的函数或生成式LLM评判器来提供奖励信号。在RLVR训练过程中,奖励模型接收问题q
如果从 2019 年的 GPT-2 出发,回顾至 2024–2025 年的 DeepSeek-V3 和 LLaMA 4,不难发现一个有趣的现象:尽管模型能力不断提升,但其整体架构在这七年中保持了高度一致。
自 2021 年夏季 GitHub Copilot 以预览版问世 以来,编程助手产品呈现爆发式增长。这类工具最初被用作增强型代码补全工具,而 Cursor、Windsurf 等产品则迅速转向了 Agent 交互模式:通过自然语言指令触发,助手能自主执行修改代码
当您阅读本文时,想象一下您是一个新的宠物用品品牌,正在与零售商 Hollywood Feed 展开正面交锋。
在数字化转型的浪潮中,企业级大模型Agent正逐步成为企业解决传统业务痛点的关键力量。通过整合认知决策与自动化执行能力,这些Agent不仅优化了业务流程,还显著提升了企业运营效率。以下是Agent如何针对五大核心痛点提供创新解决方案的详细剖析。
大模型Agent通过整合认知决策与自动化执行能力,正系统性解决企业传统业务中的核心痛点。基于行业落地案例,可将其价值归纳为以下五大类痛点及代表性解决方案:
Sandisk UltraQLC SN670 固态硬盘提供 256 TB 和 128 TB 两种容量选择,采用 BiCS 218 层 3D NAND 技术,搭配 CBA(CMOS 直接键合阵列)2 TB 裸片设计以及 PCIe gen5 NVMe 接口。该固态
首先,SLM已经足够强大,能处理AI智能体中大多数重复、专一的任务;其次,它们天生更适合智能体系统的架构,灵活且易集成;最后,从经济角度看,SLM更省钱、更高效,能大幅降低AI运行成本。
首先,SLM已经足够强大,能处理AI智能体中大多数重复、专一的任务;其次,它们天生更适合智能体系统的架构,灵活且易集成;最后,从经济角度看,SLM更省钱、更高效,能大幅降低AI运行成本。
近日,EHA 2025大会报告(EHA Perspectives Congress Reports)正式发布,分为恶性血液学和非恶性血液学两大部分。报告全面梳理了大会期间公布的重大科研成果与临床进展,为全球血液学专业人士提供了深入了解领域前沿动态的权威参考。本
专注AIGC领域的专业社区,关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC开发者生态。
当地时间周一,谷歌在其官网表示,其联合Kaggle推出了一个全新LLM(大语言模型)评估平台——Game Arena,这个平台通过让LLM在战略游戏中直接对抗,提供一个客观、动态且可扩展的评估新范式。为庆祝平台上线,谷歌将在北美时间8月5日举行首次LLM象棋比
大语言模型(LLM)通过实现自然语言处理(NLP)功能彻底改变了软件应用,例如聊天机器人、文本生成和智能自动化。
RAG Chunking TechniquesRetrieval-Augmented Generation(RAG)很大程度上取决于你怎么分块数据。 想让LLM检索到真正有意义的上下文?你得用心设计数据的分块方式。
模型 rag llm bob generation 2025-08-05 00:06 3