摘要:近日,苹果发布了一个基于流匹配的蛋白质折叠模型SimpleFold,不使用以往蛋白质折叠模型的多序列比对、三角更新,大大简化了模型复杂性。
没想到,苹果也做蛋白质模型了!
近日,苹果发布了一个基于流匹配的蛋白质折叠模型SimpleFold,不使用以往蛋白质折叠模型的多序列比对、三角更新,大大简化了模型复杂性。
SimpleFold如同一个轻量级的AlphaFold2,不仅能够达到AlphaFold2超90%的性能,同时将算力成本下降90%,甚至笔记本也能跑!
苹果称:蛋白质折叠比你想象的更简单!
开源地址:github.com/apple/ml-simplefold
基于流匹配模型,Macbook也能跑
谷歌DeepMind开发的AlphaFold2堪称奇迹,解决了近50年来的蛋白质折叠计算问题,这一成果获得了2024年诺贝尔化学奖。
然而,AlphaFold2的计算成本非常高,对于设备要求严格。
考虑到这一点,苹果研究人员开始开发一种替代方法,利用人工智能预测蛋白质的 3D 结构,也能够大幅度降低成本。
在其提出的模型中,苹果不依赖于“MSA、成对交互图、三角形注意力或任何其他等变几何模块”,而是提出了流匹配架构(Flow Matching)。
流匹配架构于2023年推出,并已被证明在文本到图像和文本到3D模型中非常流行。
相较于Alphafold2使用的端到端 Transformer架构,流匹配在采样速度上具有天然优势,只需少量ODE 步即可完成生成,这种方法跳过了许多去噪步骤,因此计算成本较低,并且生成结果的速度更快。
与 AlphaFold2 相比,SimpleFold 基本上放弃了两个复杂架构。第一个,是用标准注意力块替换不变点注意力(IPA) 块。
第二个,也许更彻底的简化是 SimpleFold 放弃了MSA(多序列对比)。这意味着标记之间的所有比较都必须仅使用注意力来完成。从架构上讲,这是一个很大的让步。然而,删除MSA处理带来了巨大的好处,因为可以非常有效地计算标准注意力。
研究人员训练了从100M、360M、700M、1.1B、1.6B和3B等不同参数的版本,并在CAMEO22 和 CASP14上对它们进行了评估,包括对折叠模型的泛化、鲁棒性和原子级准确性的严格测试。
虽然模型简单,但与基线相比,SimpleFold 实现了非常突出的性能。在这两个基准测试中,SimpleFold 始终表现出优于 ESMFlow 的性能,ESMFold也是一个使用 ESM 嵌入构建的流匹配模型。
在通用折叠基准CAMEO22上,SimpleFold 展示了与最佳折叠模型(例如ESMFold、RoseTTAFold2 和 AlphaFold2)相当的结果。
在大多数指标上 ,SimpleFold实现了RoseTTAFold2/AlphaFold2超95%的性能,而无需应用昂贵的启发式三角注意力和 MSA。
算力成本的降低使得该模型效率极高,在配备 M2 Max 芯片的 MacBook Pro 上,它能将处理 512 残基序列的推理时间从传统模型的小时级缩短至仅两三分钟。
此外,苹果研究人员还发现了该模型遵循Scaling Low (规模定律),这意味着模型拥有更多训练数据,训练更大模型能够可靠地提供更好的折叠性能。
最后,苹果研究人员指出,SimpleFold 只是第一步,并表示他们“希望它成为社区构建高效而强大的蛋白质生成模型的倡议。
苹果,猛攻AI健康
大模型时代,苹果被认为是行业的落后者。
在谷歌、Meta、OpenAI和微软拼尽全力布局大模型时,苹果却因为内部决策和保守的倾向,并没有拿出在AI领域的亮眼成果。就连iphone已经承诺的AI全面升级,也一拖再拖。
如今,苹果正在积极调整策略,希望迎头跟上AI浪潮,医疗领域就是其重要一环。
库克曾多次表示:“希望未来人们回首往事时会说,苹果对世界最大的贡献是医疗保健。”
当前,苹果的战略重心仍然是围绕其硬件针对AI医疗进行布局。
最早可以追溯到2018年:Apple Watch Series4通过FDA认证,成为首款支持ECG心电图功能的消费级设备。
今年上半年,彭博社发文称,苹果公司正在内部推进一项代号为“Project Mulberry” 的AI医疗计划,预计是其迄今为止在医疗领域的最大动作。
据悉,该项目由苹果健康团队负责人Sumbul Desai博士主导,首席运营官Jeff Williams深度参与,最早将在2026年随iOS19推出。
简单而言,该项目预备把 Health 应用升级为具备“AI 医生”功能的健康教练,实现从数据采集到个性化干预的闭环。
预计上线之后,AI虚拟医生可读取 iPhone、Apple Watch、AirPods 等设备的健康数据,生成个性化健康建议、运动方案、营养指导等。
苹果手表目前已经支持心脏、呼吸、月经周期、睡眠、运动健身、心理等多种健康功能。
而在今年的苹果新品发布会上,也宣布了无线耳机AirPods Pro2的“助听功能”、Apple Watch的“睡眠呼吸暂停功能”等医疗方向的尝试。
除了医疗器械之外,Vision Pro医疗手术应用场景的拓展也能看到苹果正逐渐走向医疗服务的深水区。
此外,苹果最新发布的 Apple Watch Series 11带来了一项全新的健康功能:可通过分析用户的血管数据,评估高血压的风险并及时提醒。
2019年,苹果为开发高血压风险评估算法,首先开展了一项纳入10万名参与者的研究,利用其Apple Watch数据与传统血压测量值进行机器学习建模;进而又通过一项针对2000人的专项研究对该算法进行了验证。
苹果表示,这项功能已经获得 美国食品药品监督管理局(FDA) 的批准。它并不能直接给出血压数值,而是当检测到潜在风险时,会提醒用户使用传统血压计确认,并建议咨询医生。
通过将AI深度集成到其硬件生态和用户日常健康管理中,苹果正尝试开辟一条不同于其他科技巨头的AI落地路径。
来源:智药局