三六零开源升级版自研大模型360Zhinao2-7B:数学推理能力提升,医疗教育领域更实用

B站影视 2024-12-03 18:01 3

摘要:近日,三六零自研AI大模型360智脑7B参数升级版(360Zhinao2-7B)正式开源,现已上线Github开源社区(github.com/Qihoo360/360zhinao2),可免费商用。该模型是继今年4月份360Zhinao1-7B开源后的重要更新,

近日,三六零自研AI大模型360智脑7B参数升级版(360Zhinao2-7B)正式开源,现已上线Github开源社区(github.com/Qihoo360/360zhinao2),可免费商用。该模型是继今年4月份360Zhinao1-7B开源后的重要更新,通过全新的多阶段训练方式和更优质的数据处理策略,新开源360智脑模型不仅提升了中英文通用能力,还显著增强了模型的数学逻辑推理能力。据评测,相对于前一版本,其在基础模型训练和对齐训练两大核心环节上均取得重大进展,实现在国内外同尺寸开源模型中,中文能力第一、IFEval指令遵循7B第一、复杂数学推理能力第一;此外,模型的长文本微调能力,在各个长文本benchmark上位列第一梯队。

360Zhinao2-7B在多项性能评估基准中表现卓越。基于开源工具OpenCompass的评估,360Zhinao2-7B在中文领域的CEval考试和复杂数学推理数据集math上,该模型以10B以下开源模型第一的排名展现了超强的竞争力。此外,在C3、lcsts等中文阅读和摘要任务中,该模型也取得了领先成绩。360Zhinao2-7B在IFEval、MT-bench、CF-Bench三个流行评测上,模型都具备竞争力,比如在IFEval (prompt strict)的7B尺寸上得分最高。

优异的模型效果评测结果,基于360Zhinao2-7B多项核心技术革新。首先,预训练数据优化:通过语义去重和多样化处理,大幅提升网页数据的均衡性;同时,通过大规模合成,弥补了数学和代码数据的不足。其次,模型结构升级:引入GQA机制,显著提升推理效率。第三,对齐训练强化:采用iterative DPO、off policy DPO以及PPO三种进化方式分别对齐,再采用先内插再外插的方法,极致提升模型的天花板。结合高质量人工标注的微调数据以及可验证的复杂指令遵循数据,大幅增强了模型在实际应用场景中的指令遵循能力。

此次三六零Zhinao2-7B开源,包含基础模型和强化对齐的聊天模型,以及模型的微调训练代码,推理代码等全套工具集也被一并开源,大模型相关开发者可做到“开箱即用”。无论是在学术研究还是在教育、医疗、智能客服等商业场景中,都具备高度实用性。

自三六零推出开源大模型以来,一直致力于构建开放、共享的AI生态。此次三六零Zhinao2-7B为广大开发者提供了低成本、高性能的创新机会,和性能强劲、稳定性高的技术基石,是三六零对技术社区的又一次支持。随着AI技术在全球范围内的迅猛发展,三六零将继续以开放的心态与行业伙伴共同探索更多可能性。

上游新闻 马亮

来源:上游新闻一点号

相关推荐