摘要：端侧LLM功能开发是heavy lifting，即便端侧算力完全达标了(手机端NPU算力去年已经75TOPs了，非常暴力，标准的桌面级，两年内到150Tops问题不大)，端侧LLM生态也还没有那么快，还需要SDE们的持续爆肝。我还是和一年前观点类似，看好26~

只要蹭上AI相关的叙事，股价增长表现都是接近翻倍或者更高，毕竟这是确定性的增长机会，PE都会给的很有想象力

蹭AI失败典型就是高通，微软的recall功能跳票，导致AIPC/端侧LLM叙事直接破产,股价高点下跌不少，就算赢了跟ARM的官司也无济于事

微软跳票+苹果apple intelligence乏力+安卓碎片化，今年端侧AI/LLM只能这么评价：存在感基本为零

端侧LLM功能开发是heavy lifting，即便端侧算力完全达标了(手机端NPU算力去年已经75TOPs了，非常暴力，标准的桌面级，两年内到150Tops问题不大)，端侧LLM生态也还没有那么快，还需要SDE们的持续爆肝。我还是和一年前观点类似，看好26~27年才会有比较显著的进展和丰富一些的玩法

端侧AI目前唯一的热点就是智能眼镜，Meta的Rayban眼镜只是个原型，AI功能实用性基本可以忽略，也卖了两百万，整个智能眼镜市场全年接近四百万销量，风头超出了所有人的预期，PMF得到了验证

虽然目前的智能AI眼镜跟LLM半点关系都没有。24~25年主要的端侧AI部分就是眼球追踪和手势追踪，顶多加上OCR，毕竟眼镜只有那么一点点算力，功耗要求也过于严格(

下周的CES在端侧AI基本上就是AI眼镜主题秀，说百镜大战可能有点夸张，但差不多就是这个热度，是典型的Hype没错，但未来可期也是真的

另一个蹭AI失败的Micron，则是因为PC和手机端的DRAM需求比预期疲软，股价涨了一阵跌回原地。毕竟PC和手机端内存是大头，HBM的占比暂时还是太低了，难以撑起AI叙事，7倍的forward PE低的令人发指

AMD是个例外，蹭上了AI竟然还是跌的，2025的PE也低到竟然只有17。各家CSP都热衷于自研model->compiler->asic accelerator从上到下一整套解决方案提高performance，ASIC赛道的火热，让AMD和Nvidia在同一个赛道火拼，只能说CUDA积累的生态优势恐怖如斯

蹭AI姿势最成功的，莫过于给各家互联网云厂CSP们做ASIC AI加速器的Broadcom和Marvell，都是直接靠画饼就能翻倍，太可怕了(以及即将蹭上的MTK/AICHIP)

这大概是2024年最大的的芯片风口转型故事

其实帮互联网公司做ASIC AI加速器对于传统半导体厂商并不是特别有挑战性的事情，对IP的要求并不高，主要是做SoC的infra从前端到后端整个配套设施，核心core ML加速器+上层compiler都是互联网公司自己做。

只要服务态度好，客户支持到位，要求什么就给什么，价格合理，门槛并不是那么高。除了互联interconnect IP，基本上可替代性比较高

所以MTK这种云端NPU经验并不多的芯片厂，也能当Google TPU V7之一的供应商

大公司deploy自己的model时，现在都喜欢用自己的asic配套自己的compiler，自己做的asic明明在纸面功耗比上(TOPs per watt)比H100差了不少，甚至能到40%，要花大力气用自家的功耗比并不是那么好的asic，表面上来看并不合算，除了控制成本(和NV讨价还价)，为什么还要自己做？

简单的说，各种深度学习model/workload的瓶颈都不一样，很难有通用的解法，卖家标称的纸面性能/功耗比，并不能代表实际日常的实际表现

公司即便是把H100拿过来用，不经调试直接跑自己的model，其实根本跑不到Nvidia标称的性能performance，差距非常明显

如果要跑出理想的performance，要去研究model怎么适配CUDA做优化，甚至需要改compiler里面的一些参数，所以即便是Nvidia，也会派人给大客户针对他们的workload去optimize/tune CUDA/compiler层

而如果大公司比如meta用自家的model/compiler和hw全套，特定的workload会比其他家的ASIC比如高通的AI100 性能要高数倍

因为自家的模型运算细节自己都了解，可以针对自己的model改compiler和芯片，model的size等各种参数达到最好的效果，从内存分配逻辑，kernel tuning，数据精度，tiling，流水线pipeline结构去从硬件的角度迎合上层model的优化，性能差距会非常大，这是一个上层应用决定硬件形状的时代

如果meta用高通的SDK+compiler+ASIC全套，没有办法针对自己的model去优化，只能用高通的东西去sweep各种参数，这里说的sweep意思是高通的SDK和编译器允许用户调整一些参数（例如线程块大小、内存分配策略、流水线深度等）来优化特定operator的性能。用户会尝试不同参数组合，以找到性能的sweet spot

而sweep参数获得的性能优化会比较有限

这就是为什么最后大公司比如meta的model运行在高通的asic上面的performance，反而会不如自己家看起来功耗比更差的全套compiler+ASIC

为啥CSP们要自己做芯片的同时又外包给传统半导体厂商呢？

一块SoC里大部分IP，包括Cache/memory，CPU，DSP，high speed IO, boot以及低功耗控制，需要的人力是很多的，但只是提供了一个承载ML加速器运行的infra平台，对于互联网厂家来说没有任何自己做的必要，CSP们只会对直接影响ML加速器部分的内容感兴趣

芯片这个圈子太小了，而且前端后端各个角色之间隔行如隔山，挖人不容易，无法在短时间内招到一个磨合良好的团队稳定的迭代项目。Goole/Amazon/Microsoft/Meta这几家开出高出市场价很多的薪水四处挖角，silicon team也都只是几百人到一千人的规模。一般来说从零开始组建一个不错的大厂silicon design house成型，起码要十年时间

所以给成熟的芯片大厂外包做是一个很合理的选择

那么CSP们会不会自己做了ASIC然后往外卖和Nvidia竞争呢？

不会，因为这些ASIC组成立的目标KPI就是节约了多少成本，专门做这个生意风险和投入不成正比，芯片支持多个客户的成本是上升很多的，完全没有必要

这也是为什么这些ASIC组在制定架构指标时比较省心，直接对标Nvidia下一代的Tops以及带宽指标就行，同算力功耗多了50%也无所谓，靠后期compiler和针对性架构来弥补，反正只要能节省成本不被Nvidia压榨就行

ASIC AI加速器故事即便在2025~2026年，其实也还是整个市场占比很小的小众市场，Nvidia仍然是这场LLM科技革命里毫无疑问的基建期唯一大boss

至于openAI/Anthropic能不能像2004年的Google/Facebook一样，成长为这一轮浪潮里的新巨头，那就拭目以待了

2025年的半导体，AI作为主旋律的日子，怕是还会持续。不过其他领域的复苏，比如汽车电子的增长，还是比2024要好看些的

2025除了AI主旋律外最大的看点，就是intel的18A制程量产效果能否如期落地，这可能是2025影响产业格局最大的事件了

来源：随性自由的阳光z