摘要:随着生成式AI大模型往本地推理延伸的快速发展,消费者对终端设备AI化要求越来越高,AI芯片技术正结合云端向端侧AI推理发展。端侧AI芯片正呈现爆发式增长,头豹研究院数据显示2023年中国端侧AI市场规模达1939亿元,预计今年将突破8661亿元,年复合增长率高
随着生成式AI大模型往本地推理延伸的快速发展,消费者对终端设备AI化要求越来越高,AI芯片技术正结合云端向端侧AI推理发展。端侧AI芯片正呈现爆发式增长,头豹研究院数据显示2023年中国端侧AI市场规模达1939亿元,预计今年将突破8661亿元,年复合增长率高达111%。
按处理的数据类型与模态,端侧AI芯片可以分为端侧AI音频芯片、端侧AI图像处理芯片、端侧AI视觉感知芯片等。其中端侧AI音频芯片是专为TWS耳机、无线麦克风、智能音箱等端侧设备设计的,用于语音识别、语音理解、语音增强和音频场景数据分析。
在过去,传统的音频设备没有端侧AI芯片的加持,只是单纯作为音频播放的工具,功能相对单一固化。随着物联网、人工智能技术的发展,音频设备智能化交互成为众多消费者向往的新功能。
其中最典型的当属语音交互,云端AI处理是早期音频设备实现语音交互的主要方式,但这种方式存在延迟、功耗高、用户隐私易泄露等问题。人们开始思考将音频设备数据从云端转向终端直接处理,端侧AI音频芯片随之应运而生。
它是一种专为在终端设备本地实现智能化音频处理而设计的芯片,市面上有几种不同的端侧AI芯片设计,有的在传统架构下采用先进工艺提高算力,有的在现有基础上通过接入云端达成AI属性,而市场上还有一种是采用架构创新的方式,集成了专门的AI加速引擎,并采用先进的低功耗架构设计,不需要依赖云端,就能直接在终端设备上进行AI运算,对音频数据进行处理、分析。
端侧AI音频芯片的出现,正驱动音频行业从“硬件功能”向“智能化”全面转型。在语音交互方面,端侧AI芯片能让音频设备实现高精度的语音唤醒功能,设备可精准识别用户说出的唤醒词。而且大大提升了音频设备对语音内容的识别准确率和理解能力,还可以支持中英日等多种语言的语音交互。
在音频处理方面,利用AI算法,端侧AI芯片能够有效抑制环境噪声,消除音频中的回声,同时还能对音频进行智能增强。而且端侧AI芯片还可以通过对多个麦克风采集到的音频信号进行分析,准确判断声源的位置。
在以上两大核心功能升级之外,端侧AI芯片还为音频设备带来了实时健康监测、听力保护、情绪识别等新功能。在音频设备的交互方式上,端侧AI音频芯片也带来了革新,衍生了手势与触控融合、骨传导操控、语音-视觉融合交互的新方式。
端侧AI音频芯片的技术革新,正驱动无线麦克风市场爆发。洛图科技的数据显示,2023年中国新型无线智能麦克风的销量为102万台,同比增长4倍以上。
我爱音频网「听见」栏目组此前采访了市场火爆的多个无线麦克风品牌,其中猛玛透露其2024年整个麦克风品类销量大幅增长了70%-80%,BOYA博雅也同样表示无线麦克风市场在快速增长,去年BOYA博雅线上总GMV同比暴涨9倍。
我爱音频网持续关注着无线麦克风行业的发展,此前也对12大品牌16款无线麦克风进行评测,并拆解了12大品牌17款无线麦克风。作为专注音频行业的媒体,我爱音频网一直致力于为行业、品牌和消费者之间搭建沟通的桥梁,助力无线麦克风市场健康稳定发展。
由我爱音频网主办的「2025亚洲AI智能无线麦克风大会」,定于2025年6月13日(周五)在深圳举行,届时将汇聚产业链上下游的企业和专业人士,展示行业内的创新成果与前沿思想,加强市场间的紧密合作,共同推进行业的持续发展和进步。
端侧AI音频芯片通过“本地算力+AI算法”的组合拳,解决了无线麦克风环境降噪、延迟传输、续航焦虑、音质平庸等技术痛点。随着端侧AI音频芯片算力提升,无线麦克风将进一步集成实时多语言翻译、声纹身份认证等能力,从音频采集工具进化为智能交互终端。
端侧AI音频芯片风口飞起来了,但是在无线麦克风领域商用落地仍存在很多难题。首先是算力、功耗、成本三者之间平衡的问题,提升算力,势必会导致功耗上升,而采用低功耗设计,又会限制峰值性能,通过先进制程降低单位算力功耗,但成本又会飙升。
而音频设备需要在1W以下功耗实现TOPS级算力,例如TWS耳机需在5mW功耗下运行语音唤醒、AI降噪和LE Audio编解码。所以对于成本敏感又讲究超低功耗的消费级音频设备市场来说,那的确是一个不好解决的问题。这需要企业通过技术重构与架构创新来破局。
端侧AI音频芯片需要采用多核异构架构,集成多种不同类型的处理器核心,如通用CPU、专用DSP、神经网络加速器NPU,这样在处理不同任务时就能调用不同的处理器。轻量任务由通用CPU处理,复杂模型由NPU执行,这种创新的计算策略不仅可以压低功耗,还能大幅提高计算效率。
因此,国内外前沿研究单位提出存算一体这种创新设计,在一定程度上也可以解决算力、功耗两者矛盾的问题。采用存内计算,可以将语音特征提取的能效比提升10倍;使用3D堆叠HBM内存,进一步突破存储墙限制,从而大幅减少数据搬运功耗。
在算法适配层面,端侧AI音频芯片要实现商用,需要支持动态8bit/4bit混合精度和稀疏化神经网络计算等前沿算法。语音唤醒阶段使用4bit,可以节省50%功耗;语义理解切换至8bit,又能保障精度。
在降本方面,我们可以使用Chiplet异构集成、RISC-V架构来降低开发成本。此外,生态壁垒也是端侧AI音频芯片商用落地难的一大问题。端云协同割裂,本地芯片与云端服务协议不兼容,会导致开发周期增加30%以上。而且现在开发工具链似乎也不成熟,这些都会影响端侧AI音频芯片的落地。
炬芯端侧AI音频芯片成功落地,被猛玛LARK MAX 2无线监听麦克风采用虽然国内已有不少企业发布了自研的端侧AI音频芯片,但许多并未真正打入消费级终端市场。芯片产品没有进入到商业化落地,就谈不上真正的成功。市场需要的是能够大规模量产的民用产品。
近期,端侧AI音频芯片落地传来重磅好消息。全球视野的专业音频芯片品牌厂商炬芯科技在其官方微信平台上宣布,其第一代端侧AI音频SoC ATS3231系列芯片,被猛玛全新一代旗舰级无线监听麦克风LARK MAX2采用。
这意味着炬芯科技端侧AI音频芯片已从实验品成功走向落地商用,成为国产端侧AI音频芯片在消费级市场的重大突破,并在该领域旗舰级产品形成了强大的技术壁垒。
公开资料显示,猛玛首创的无线监听麦克风新品可以实现25ms的无感延迟及100m的无线监听距离,搭载高性能AI降噪模型,支持32bit全链路传输,36小时的超长续航,340m超远距离稳定传输。
这些出色的功能需要依靠端侧AI音频芯片支撑实现。据悉此次猛玛选取了炬芯科技第一代端侧AI音频SoC ATS3231系列作为其旗舰新品LARK MAX 2无线监听麦克风的主芯片。
在一众竞争者中,为何炬芯科技能获得猛玛的青睐,其端侧AI音频芯片在商用落地又有什么特别优势?
ATS3231系列在架构上创新集成CPU、NPU并融合了Cadence第五代高性能音频数字信号处理器HiFi5 DSP,NPU部分并采用模数混合SRAM存内计算技术(Mix-mode SRAM based CIM,简称MMSCIM)设计,是炬芯第一代搭载AI-NPU的三核异构SoC芯片,将NPU与DSP融合设计形成一个超高弹性的架构,在这种AI-NPU架构中MMSCIM支持基础性通用AI算子和模型,提供低功耗大算力。同时,由于AI新模型新算子的不断涌现,MMSCIM未覆盖的新兴算子或模型则由HiFi5 DSP来予以补充,成功解决了端侧AI音频芯片应用在算力、功耗、能效之间的难题,为单位毫瓦功耗下提供能TOPS级别极致能效比的AI算力。
不仅如此,炬芯科技还为AI开发生态提供专用的"ANDT"开发平台,基于强大的芯片平台可支持TensorFlow、Caffe、TFLite、PyTorch和ONNX等主流AI深度学习框架或模型,并支持目前所有主流的AI模型,客户只要按照标准的TensorFlow、 PyTorch 这类框架来设计自己算法,导入到炬芯的开发平台,即可自动选择最适合的DSP或者NPU来进行处理,极大了提高了开发的效率。
炬芯科技第一代的模数混合SRAM存内计算技术的核心运算能力高达100GOPS@500MHz,能效比高达6.4TPOS/W@INT8,在同等条件下,相较于DSP HiFi5,实际应用算力和能效比分别可提升约16倍和60倍,功耗可降低90%以上。
模数混合SRAM存内计算是目前最佳的低功耗端侧AI音频技术架构。炬芯科技在这一技术上表现出相对领先的优势,2024年、2025年都在持续进行技术迭代。去年在全球CEO峰会上,炬芯科技董事长周正宇博士发布了炬芯科技AI(Actions Intelligence)战略,旨在让AI随处可及,战略中提到了2026年将推出新制程12 纳米的第三代(GEN3)MMSCIM,GEN3 MMSCIM每个核达到1 TOPS的高算力,支持Transformer,能效比进一步提升至15.6TOPS/W @INT8。
除了AI算力外,音频处理模块和无线连接也是端侧AI音频芯片的重要组成部分。公开资料显示,炬芯的ATS3231系列端侧AI音频芯片支持全链路48KHz@32bit的高清音频通路,可以实现DAC SNR 120dB(噪声小于2uVrms)和ADC SNR 111dB(噪声小于3.6uVrms)的优秀技术指标,可见其具备提供录音棚专业级声音的能力。
通过48K双麦AI ENC降噪算法,能够快速识别各种复杂环境下的环境噪声,猛玛LARK MAX 2实现了 20档无极降噪调节,可根据不同的拍摄场景动态适配有效过滤噪声,并可自动识别突发噪声,使用户可以获得干净、高清的人声。
此外,ATS3231系列也是炬芯科技第三代高音质低延迟无线收发音频芯片,秉承炬芯科技低延迟高音质技术,并全球首创灵活的双RF设计。凭借其突破性设计,该芯片支持最高4Mbps的无线传输带宽,为猛玛LARK MAX 2打造无线麦克风+无线监听耳机一体化创新应用提供核心技术支撑,实现行业领先的旗舰级超低延迟音频传输(端到端25ms无感延迟)体验。并成功赋能 LARK MAX 2 实现四发射端与一接收端的多链路组网模式,开创无线音频设备协同工作新范式。
而且炬芯科技通过16dBm强劲发射功率与新一代无线跳频技术的深度融合,助力猛玛无线监听麦克风LARK MAX 2实现340m超远距离稳定传输,远超市场上同类产品的稳定传输距离,展现出强劲的传输稳定性和抗干扰优势,使用户可以在无论是大型户外活动多机位拍摄,还是在大空间内自由创作等各种复杂多变的环境下,均可得到稳定可靠的音频传输。
不仅如此,ATS3231系列在此创新架构下获得了极致能效比,在同等功耗的场景下为AI赋能提供更大的算力支持,在同类产品相同的更高AI算力需求情况下可大幅降低功耗,使得猛玛LARK MAX 2无线监听麦克风实现36小时的超长续航。
经炬芯与猛玛携手开展深度研发,这款无线监听麦克风产品一经推出即引领无线麦克风行业潮流,为用户创造更专业、全面无线、AI高效创作的新体验。
端侧AI音频芯片,无疑已经成为整个音频行业的技术焦点,同时也是未来音频产品创新的主要来源。这种革命性技术将重塑整个音频设备行业的竞争格局,谁率先掌握,谁就能在市场上赢得先发优势。
从技术研发走向落地商用,是端侧AI音频芯片发展的关键。炬芯科技的端侧AI音频芯片通过架构创新、模数混合SRAM存内计算、首创双RF突破性设计等核心技术,解决了落地商用的难题,获得了如猛玛这样的头部音频品牌青睐。
炬芯科技“技术+芯片+开发平台+应用”的AI生态构筑制高点,为其形成了非常强大的技术和生态壁垒,可为万亿级巨大市场的AIoT设备提供强大的AI算力支撑,并为品牌客户产品商业化落地提供了完备的、个性化的、高效便捷的AI开发生态,在"AI战略"下助力行业生态健康、快速发展,真正做到让AI随处可及。
来源:我爱音频网