摘要：在我们的日常生活中，智能手机能够识别照片中的人脸，语音助手能够理解我们说的话，而最新的AI助手甚至能同时处理文字、图片和视频。这些神奇的功能背后，都有一个共同的秘密武器——多模态大语言模型（MLLM）。然而，这些AI系统有一个致命弱点：它们的"记忆"实在太有限

在我们的日常生活中，智能手机能够识别照片中的人脸，语音助手能够理解我们说的话，而最新的AI助手甚至能同时处理文字、图片和视频。这些神奇的功能背后，都有一个共同的秘密武器——多模态大语言模型（MLLM）。然而，这些AI系统有一个致命弱点：它们的"记忆"实在太有限了。

这项由西湖大学的邵可乐、陶可达等研究人员领导的突破性研究发表于2025年7月，论文题为《When Tokens Talk Too Much: A Survey of Multimodal Long-Context Token Compression across Images, Videos, and Audios》。研究团队成员来自西湖大学、浙江大学、厦门大学、新加坡国立大学、威斯康星大学麦迪逊分校等多所知名学府。有兴趣深入了解的读者可以通过arXiv:2507.20198访问完整论文。

要理解这个问题，我们可以把AI系统想象成一个非常聪明但患有"短期记忆症"的助手。当你给它看一张高清照片时，这张照片会被分解成成千上万个小片段，每个片段就像一个"记忆单元"。一张4K超高清图片可能需要32000个这样的记忆单元，而一段90分钟的电影则需要惊人的5400万个记忆单元。问题是，目前最先进的AI系统，比如谷歌的Gemini 2.5，最多只能同时处理100万个记忆单元。这就像让一个人同时记住几万本书的内容一样困难。

更糟糕的是，AI处理这些记忆单元的效率会随着数量的增加而急剧下降。这就好比一个图书管理员，当需要管理的书籍从100本增加到1万本时，找到特定信息所需的时间不是简单地增加100倍，而可能是10000倍。这种"二次复杂度"问题让AI在处理复杂多媒体内容时变得极其缓慢，有时甚至完全无法工作。

研究团队发现了一个令人震惊的事实：在大多数情况下，这些AI系统实际上只关注其中不到20%的信息，其余80%以上的记忆单元几乎是"垃圾"。这就像一个人看电影时，虽然屏幕上有无数细节，但真正对理解剧情有用的可能只是几个关键镜头。既然如此，为什么不能让AI变得更"聪明"一些，只保留真正重要的信息呢？

这正是"令牌压缩"技术要解决的核心问题。所谓"令牌"，就是AI理解信息的基本单位，类似于人类大脑中的记忆片段。令牌压缩技术就像给AI配备了一个超级高效的"信息筛选器"，能够从海量数据中迅速识别出最重要的部分，然后将其余冗余信息"压缩"掉。

一、图像处理的智能压缩：让AI看图更高效

当AI系统处理图像时，面临的挑战就像一个人试图在极短时间内记住一幅巨大拼图的每一个细节。一张普通的数字照片被AI"看到"时，会被切分成数百甚至数千个小方块，每个方块都需要占用宝贵的记忆空间。然而，就像人眼观察风景时会自动忽略天空中相似的云朵而专注于地平线上的建筑物一样，AI也完全没必要对每个小方块都给予同等的关注。

研究团队将图像压缩方法分为四个主要类型，每种都有其独特的"智能筛选"策略。第一种是变换式压缩，这就像是给原始图像做了一次"智能缩略"。比如，一张包含大片蓝天和少量建筑的照片，系统会自动将相似的天空区域合并，而保留建筑物的细节。这种方法被InternVL系列和Qwen2系列等先进AI系统广泛采用，它们能够将图像的信息量减少到原来的四分之一，同时几乎不损失重要内容。

第二种是相似性压缩，原理就像整理衣柜时把相似的衣服归类放置。AI系统会识别图像中那些看起来相似的区域，比如一片森林中的许多相似树叶，然后用一个"代表性"的信息来替代所有相似的部分。研究人员发现，这种方法特别适合处理那些包含重复图案的图像，比如建筑物的外墙或者自然景观中的纹理。

第三种是注意力导向压缩，这种方法模仿了人类视觉的工作原理。当你看一张照片时，你的眼睛并不会平均分配注意力，而是会自动聚焦于最吸引人或最重要的部分。AI系统通过分析自己在理解图像时哪些区域获得了更多"关注"，然后保留这些重要区域，而将那些几乎没有被"注意到"的区域压缩掉。

第四种是查询导向压缩，这是最聪明的一种方法。就像一个经验丰富的导游会根据游客的兴趣重点介绍景点的不同方面一样，这种技术会根据用户的具体问题来决定保留图像的哪些部分。如果你问AI"这张照片里有几个人"，系统就会优先保留人物相关的信息；如果你问"天气怎么样"，系统则会关注天空和环境细节。

在实际应用中，这些压缩技术展现出了令人惊喜的效果。研究数据显示，即使将图像信息压缩到原来的十分之一，AI系统在回答关于图像内容的问题时，准确率仍然能保持在95%以上。这就好比一个人看完整部电影后，能够用十分钟的精华片段向朋友完整复述剧情要点。

二、视频理解的时空压缩：处理动态信息的艺术

如果说处理静态图像已经很有挑战性，那么处理视频就像是在玩一个难度提升了千倍的游戏。视频不仅包含空间信息（每一帧的画面内容），还包含时间信息（帧与帧之间的变化）。一个90分钟的高清电影包含大约54万个"信息单元"，这相当于让AI同时记住54万张图片的内容——这对任何系统来说都是一个几乎不可能完成的任务。

视频压缩的核心思想是利用一个简单但重要的观察：在大多数视频中，相邻的画面通常非常相似。比如在一个人物对话的场景中，背景几乎保持不变，只有说话人的嘴部和表情在轻微变化。传统的AI系统会把每一帧都当作全新的信息来处理，这就像一个健忘症患者每秒钟都要重新认识房间里的所有物品一样低效。

研究团队开发的时空压缩技术就像一个聪明的视频编辑师，能够识别出视频中真正发生变化的部分。在处理一段街道监控录像时，系统会发现大部分时间里街道背景是静止的，只有偶尔经过的车辆和行人是真正的"新信息"。因此，系统只需要保留一个背景"模板"和那些真正变化的元素，就能够完整重现视频内容。

这种技术的一个典型应用是frame clustering（帧聚类）。系统会自动将相似的视频帧归为一组，然后用组内最具代表性的一帧来代表整组。这就像制作电影预告片时，编辑会从每个场景中选择最精彩的几秒钟片段，最终用两分钟的预告片概括两小时的电影内容。

更加先进的方法还能够进行"智能跳跃"。当AI检测到视频中出现场景切换时，会自动调整压缩策略。比如从室内对话场景切换到室外追车场景时，系统会意识到这是全新的内容，需要保留更多细节；而在同一个场景内的连续镜头中，系统则会更加激进地压缩冗余信息。

研究数据显示，通过这些智能压缩技术，AI系统能够将视频处理速度提升10到50倍，同时在理解视频内容的准确性上只有微小的损失。这意味着原本需要几小时才能分析完成的长视频，现在可能只需要几分钟就能完成。

三、音频处理的频谱优化：让AI"听"得更聪明

音频信息对AI系统来说是另一个独特的挑战。与图像和视频不同，音频是一维的时间序列数据，但它蕴含的信息密度却可能极高。一首两小时的音乐会录音可能包含72万个信息单元，而且这些信息在时间轴上连续分布，不像图像那样可以明显地分割成独立的区域。

音频压缩的关键在于理解声音的本质特征。就像人类的听觉系统能够在嘈杂的餐厅中专注于朋友的谈话声一样，AI也需要学会从复杂的音频信号中提取真正有意义的信息。研究团队发现，大多数音频内容都存在大量的冗余：长时间的静音、重复的背景声、以及人耳几乎无法察觉的高频或低频成分。

一种有效的音频压缩方法是"令牌堆叠"。这种技术将连续的音频片段"堆叠"在一起，形成更密集的信息单元。这就像将一本厚厚的小说压缩成精炼的摘要，保留主要情节和对话，去除冗长的环境描述。通过这种方法，一段原本需要1000个信息单元的音频可能只需要250个单元就能准确表达。

另一种方法是频谱分析压缩。AI系统会将音频转换成类似于彩虹般的频谱图，不同颜色代表不同频率的声音强度。然后系统会识别出那些对理解内容最重要的频率范围，并优先保留这些信息。比如在处理人声对话时，系统会重点保留人声频率范围的信息，而压缩掉对理解语言内容贡献不大的极高频或极低频成分。

研究还发现了一个有趣的现象：在很多音频应用中，AI系统实际上只需要关注很短的时间窗口内的信息。比如在语音识别任务中，理解一个单词通常只需要分析前后几百毫秒的音频，而不需要考虑整段对话的内容。基于这个发现，研究团队开发了"滑动窗口"压缩技术，让AI系统像一个专注的听众一样，始终关注当前最相关的音频片段。

四、技术融合与优化：四种策略的协同作用

在实际应用中，最有效的压缩系统往往不是依赖单一技术，而是将不同的压缩策略巧妙地结合起来。这就像一个优秀的厨师会综合运用煎、炒、烹、炸等不同技法来制作一道完美的菜肴。

研究团队发现，不同类型的压缩技术有着各自的优势领域。变换式压缩在处理结构化内容时表现最佳，比如文档图像或者建筑物照片；相似性压缩在处理自然场景时效果显著，特别是那些包含重复图案的内容；注意力导向压缩在交互式应用中最为有用，因为它能根据AI系统的实际需求动态调整；而查询导向压缩则在特定任务中表现出色，能够根据用户的具体需求精准保留相关信息。

一个典型的融合应用场景是智能视频监控系统。系统首先使用变换式压缩来处理相对静态的背景信息，然后用相似性压缩来合并重复的场景，接着通过注意力机制识别出可能的异常活动区域，最后根据具体的监控需求（比如寻找特定的人或物）进行查询导向的精细处理。

这种多技术融合的方法在处理长视频内容时表现尤为出色。研究数据显示，在处理90分钟的电影时，融合系统能够将原本需要的5400万个信息单元压缩到不到100万个，同时在回答关于电影内容的问题时保持90%以上的准确率。这相当于让AI系统用不到原来2%的"记忆空间"就能理解整部电影的内容。

然而，技术融合也带来了新的挑战。研究团队发现，简单地将多种压缩技术叠加使用并不总是能获得最佳效果，有时甚至会出现"1+1

五、实际应用与性能表现：从实验室到现实世界

为了验证这些压缩技术的实际效果，研究团队进行了大量的对比实验。他们选择了多个代表性的AI系统，包括LLaVA、Qwen-VL、InternVL等知名模型，在各种真实任务上测试了压缩技术的表现。

在图像理解任务中，实验结果令人印象深刻。即使将图像信息压缩到原来的八分之一（从576个信息单元减少到64个），AI系统在回答"图片中有几个人"、"天气如何"等问题时的准确率仍然能保持在85%以上。更令人惊喜的是，在某些特定任务中，适度的压缩甚至能够提升AI的表现，因为去除冗余信息后，系统能够更专注于真正重要的内容。

视频处理任务的实验同样显示了压缩技术的巨大潜力。在处理包含复杂情节的长视频时，系统能够在保留仅25%原始信息的情况下，依然准确回答关于视频内容的各种问题。比如在分析一段90分钟的电影时，压缩后的系统仍然能够正确识别主要角色、理解基本情节发展、甚至回答一些细节性的问题。

音频处理方面的实验结果也很有说服力。在语音识别任务中，压缩技术能够将处理时间缩短80%以上，同时识别准确率几乎没有下降。这意味着原本需要几分钟才能处理完成的长音频，现在可能只需要几十秒就能得到结果。

特别值得注意的是，这些压缩技术在处理多语言内容时表现出了很好的通用性。无论是中文、英文、还是其他语言的内容，压缩效果都相当稳定。这为开发面向全球用户的AI应用提供了重要的技术支撑。

六、挑战与局限：技术发展中的现实障碍

尽管令牌压缩技术展现出了巨大的潜力，但研究团队也诚实地指出了当前面临的一些挑战和局限性。

首先是性能下降的问题。虽然适度的压缩通常不会显著影响AI系统的表现，但当压缩比例过高时，性能下降就会变得明显。研究发现，对于最先进的AI模型，当压缩比超过90%（即只保留10%的原始信息）时，系统在复杂任务上的表现会出现明显下降。这就像试图用一张邮票大小的照片来识别人群中的某个特定面孔一样困难。

其次是任务特异性的挑战。某些需要高精度信息的任务，比如医学图像诊断或者精密工程图纸分析，对压缩技术的要求极高。在这些应用中，任何细微信息的丢失都可能导致严重后果。研究团队发现，目前的压缩技术在这些高精度应用中还需要更多的改进和优化。

第三个挑战是实时处理的要求。虽然压缩技术能够大幅提升AI系统的处理速度，但压缩过程本身也需要时间。在某些需要极快响应的应用中，比如自动驾驶或者实时视频分析，压缩带来的延迟可能会抵消其带来的速度优势。

技术兼容性也是一个现实问题。目前主流的AI加速硬件和软件框架都是针对传统的"全信息"处理模式设计的，而压缩技术往往需要特殊的计算模式。这就像试图在为右舵汽车设计的道路上行驶左舵汽车一样，需要额外的适配工作。

七、未来发展方向：下一代智能压缩技术

面向未来，研究团队提出了几个重要的发展方向，这些方向可能会彻底改变AI系统处理多媒体信息的方式。

第一个方向是统一多模态压缩框架的开发。目前，处理图像、视频、音频的压缩技术基本上是分离的，就像三个独立工作的专家。未来的系统可能会发展出一种"通用语言"，能够同时理解和压缩不同类型的媒体内容。这种统一框架不仅能提高效率，还能利用不同模态之间的相关性来进一步优化压缩效果。

第二个方向是自适应压缩技术的发展。未来的AI系统可能会像一个经验丰富的编辑一样，能够根据内容的重要性、用户的需求、以及系统的当前负载来动态调整压缩策略。比如在处理一段包含紧急情况的视频时，系统会自动降低压缩比例以保留更多细节；而在处理日常监控录像时，则会采用更激进的压缩策略。

第三个方向是硬件协同优化。随着专门为AI计算设计的芯片越来越普及，压缩技术也将与这些硬件更紧密地结合。未来的AI芯片可能会内置专门的压缩处理单元，就像现在的图形处理器内置专门的渲染单元一样。

第四个方向是智能评估体系的建立。目前评估压缩效果主要依赖传统的准确率指标，但这些指标可能无法完全反映用户的实际体验。未来需要开发更加全面的评估体系，能够综合考虑处理速度、资源消耗、用户满意度等多个维度。

八、广泛应用前景：改变生活的技术潜力

这项研究的意义远远超出了学术范畴，它有潜力在多个领域产生深远影响。

在智能手机和个人设备领域，压缩技术能够让设备在有限的计算资源下运行更强大的AI功能。用户可能很快就能在普通手机上体验到目前只有高端服务器才能提供的复杂AI服务，比如实时视频内容分析、多语言实时翻译、或者高质量的图像处理功能。

在医疗健康领域，这项技术能够让医学影像分析变得更加高效和普及。医生可能不再需要等待数小时才能得到AI辅助的诊断结果，而是能够在几分钟内获得初步分析。这对于急诊医学和远程医疗具有重要意义。

在教育领域，压缩技术能够让个性化学习助手变得更加实用。AI系统能够快速分析学生的学习视频、作业图片等多种材料，提供即时的反馈和指导，而不需要强大的服务器支持。

在自动驾驶和机器人领域，这项技术能够让系统更快速地处理环境信息，做出更及时的决策。这对于提高自动驾驶的安全性和机器人的响应速度具有重要意义。

在内容创作和娱乐领域，压缩技术能够让AI助手更好地理解和处理视频、音频内容，为创作者提供更智能的编辑建议和内容分析。

研究团队特别指出，随着5G和6G网络的普及，以及边缘计算技术的发展，这些压缩技术将能够在更广泛的场景中发挥作用。用户可能不再需要依赖云端的强大服务器，而是能够在本地设备上享受高质量的AI服务。

说到底，这项研究解决的是一个非常根本的问题：如何让AI系统变得更加智能和高效。就像人类大脑能够从海量的感官信息中快速提取关键内容一样，未来的AI系统也需要具备这种"智能筛选"的能力。西湖大学团队的这项研究为我们展示了一条通往更智能AI的可行路径。

当然，技术的发展永远不是一蹴而就的。目前的压缩技术还需要在更多实际场景中得到验证和改进，也需要与硬件制造商、软件开发商等产业链各环节紧密合作。但可以确信的是，随着这项技术的不断成熟，我们的日常生活将会因为更智能、更高效的AI助手而变得更加便利和丰富。

对于普通用户来说，这意味着什么呢？简单来说，你可能很快就能在自己的设备上体验到更强大、更快速、更智能的AI功能。无论是拍照时的智能优化、视频通话时的实时翻译、还是语音助手的快速响应，这些看似神奇的功能背后，都可能有令牌压缩技术在默默发挥作用。这项看似深奥的技术研究，最终会以我们意想不到的方式融入日常生活，让科技真正服务于每一个人。

Q&A

Q1：什么是令牌压缩技术？它能解决什么问题？ A：令牌压缩技术就像给AI配备了一个智能筛选器，能从海量信息中快速识别重要部分，压缩掉冗余内容。它主要解决AI系统处理图片、视频、音频时"记忆不够用"的问题，让AI能更快速、高效地理解复杂多媒体内容。

Q2：这项技术会不会让AI变得不准确？ A：适度压缩通常不会显著影响准确性。研究显示，即使压缩到原来的八分之一，AI回答问题的准确率仍能保持85%以上。就像电影预告片能用几分钟概括整部电影要点一样，AI也能用更少的信息保持理解能力。

Q3：普通人什么时候能用上这种技术？ A：这项技术很可能已经在悄悄改变我们的体验了。未来几年，你可能会发现手机的AI功能变得更快更聪明、视频处理速度大幅提升、语音助手响应更及时，这些改进背后都可能有令牌压缩技术的贡献。

来源：至顶网一点号