Cohere推出一种大性能小计算命令模型

B站影视 内地电影 2025-03-16 17:08 1

摘要:Cohere推出了Command A,这是一种新的最先进的生成模型,针对需要快速、安全和高质量人工智能的苛刻企业进行了优化。与GPT-4o和DeepSeek-V3等领先的专有和开放权重模型相比,Command A以最低的硬件成本提供了最高的性能。对于私有部署,

Cohere推出了Command A,这是一种新的最先进的生成模型,针对需要快速、安全和高质量人工智能的苛刻企业进行了优化。与GPT-4o和DeepSeek-V3等领先的专有和开放权重模型相比,Command A以最低的硬件成本提供了最高的性能。对于私有部署,Command A在关键业务代理和多语言任务上表现出色,同时“仅可在两个GPU上部署,而其他型号通常需要多达32个GPU。”

在跨业务、STEM和编码任务的面对面人工评估中,Command A与规模较大、速度较慢的竞争对手相匹配或优于后者,同时提供卓越的吞吐量和更高的效率。人工评估很重要,因为它们测试的是真实世界的企业数据和情况。

企业任务的直接人工评估胜率。所有示例都由经过专门训练的人类注释者进行盲注释,评估以企业为中心的准确性、指令遵循和风格。

Cohere平台上的Command A、GPT-4o和Deepseek-V3(TogetherAI)之间的吞吐量进行比较。

在一系列标准基准测试中,Command a在指令遵循、SQL、代理和工具任务上提供了强大的性能。

可扩展效率

Cohere专注于尽可能高效地构建Command A,同时使其在生产中尽可能高效。它的服务足迹只有两个A100或H100,与市场上其他类似型号相比,它需要的计算量要少得多。这对于私人部署尤其重要。

不切实际的大型模型会导致较差的延迟。当你只想快速得到正确答案时,Command A是最好的选择。事实上,Command A可以以高达156个Token(令牌)/秒的速度传递令牌,比GPT-4o高1.75倍,比DeepSeek-V3高2.4倍。Command A的私有部署可以比基于API的访问便宜50%。

企业就绪能力

设计Command A时考虑到了业务需求。其256k上下文长度(是大多数领先型号的2倍)可以处理更长的企业文档。其他关键功能包括Cohere的高级检索增强生成(RAG),具有可验证的引用、代理工具的使用、企业级安全性和强大的多语言性能。

跨国公司需要跨地区的能力。Command A为全球大多数人口使用的23种语言提供了扩展的企业级支持,并进行了广泛的人工评估。其跨8种语言的企业任务的正面人工评估获胜率。所有示例都由经过专门训练的人类注释者进行盲注释,评估以企业为中心的准确性、指令遵循和风格。

特别是,Command A在始终如一以所请求的语言回答内容方面比GPT-4o或DeepSeek-V3要好得多,例如用用户的相关阿拉伯语方言回答。

大规模为AI代理提供动力

人工智能的好坏取决于你提供的数据。考虑到这一点,Command A可以根据内部公司信息安全地对问题做出准确的回答。在实践中,客户将其用于“按办公地点采购相关人力资源政策、审查法律法规和”分析长篇财务报告“等任务。

下一代Cohere模型将有助于为金融、医疗保健、制造业、能源和公共部门等行业的客户提供一系列人工智能应用。特别是,他们将与“North”无缝集成,安全的人工智能代理平台,通过人工智能代理释放公司数据和人员的全部潜力。完全集成的技术栈使客户能够完全“定制”产品,以满足他们独特的业务需求。

North可以安全地利用CRM和ERP软件等企业工具,并连接到公司内部数据库和外部网络搜索服务。这使企业能够构建代理,在企业系统的安全防火墙后采取行动。

可利用性

Command A目前可以在Cohere平台上使用,用于Hugging Face的研究,很快将提供给主要的云提供商。

来源:爱就对了a

相关推荐