中国团队提出SRDA,一种专为AI大模型训推设计的下一代计算架构
类GPGPU架构支持了AI大模型快速崛起,但其难以兼顾通用性和对大模型的针对性,在面对模型规模和复杂性的急剧膨胀时,其效率与成本的黑洞被诟病已久,甚至已经影响市场对大模型未来发展的预期。
类GPGPU架构支持了AI大模型快速崛起,但其难以兼顾通用性和对大模型的针对性,在面对模型规模和复杂性的急剧膨胀时,其效率与成本的黑洞被诟病已久,甚至已经影响市场对大模型未来发展的预期。
“大模型每生成 1 美元价值,需支付 3 美元算力成本”,算力成本挑战已无争议。从软件层面的各类优化方案层出不穷,真正从硬件源头着手的方案却屈指可数,市面上能看到的包括 Groq 在内的新计算硬件也多数在大模型爆发前定型,难以充分匹配大模型本身的需求。