摘要:在数智化转型加速演进的浪潮中,算力自主可控逐渐成为产业发展的核心命题。记者6月11日从爱簿智能获悉,该团队近期研制出面向边缘场景的E300 AI计算模组并推向市场。
在数智化转型加速演进的浪潮中,算力自主可控逐渐成为产业发展的核心命题。记者6月11日从爱簿智能获悉,该团队近期研制出面向边缘场景的E300 AI计算模组并推向市场。
据悉,该成果实现了50TOPS(每秒50万亿次整数运算)的国产算力突破,无需庞大、昂贵的服务器,能将320亿参数(简称“32B”)大模型轻量化地部署在本地(大模型本地部署,通常指将大模型装在本地的设备上,不用联网、不依靠远程服务器),解决了边缘AI场景中算力不足和延迟高的问题,有望加速AI为教育、能源、医疗、金融、交通等数字经济重点行业智能化转型赋能的进程。
所谓边缘AI,通俗理解就是让智能设备在数据产生的地方直接处理信息、做决策,而不是把数据传到遥远的云端计算后再返回结果的AI应用场合。比如说,在自动驾驶、医疗监测、工厂质检、智能家居等各种场景中,边缘AI就如同给每个终端智能设备装了微型大脑,让其产生的数据无需往返“跑”云端,而是能即时完成智能化处理和决策。
技术人员介绍,E300搭载了自研的国产AI SoC芯片AB100,并通过创新的模块化系统设计,将强大的算力浓缩于不到10厘米见方的模组中,而以往要实现同等算力,模组体积至少要达到其数倍。“小巧的模组意味着可以更容易地部署在各种边缘设备上,比如摄像头、传感器等,这些设备往往空间有限。”上述技术人员说,边缘设备往往还对功耗、散热要求以及成本控制有较高要求,而E300能够较好地解决这些痛点。
据了解,E300支持DeepSeek、Qwen、Llama等主流开源大模型的大模型边缘推理,最高能够将320亿参数的大语言模型部署在本地,并支持上百种视觉模型的推理,通过将数据本地处理与私有化部署来保护数据隐私与系统安全,从而满足工业、能源、水利、气象、政务、教育等关键领域对高安全性、高可靠性AI应用的要求。
记者:孙奇茹
来源:子清视界