摘要：以下内容来自小六的机器人AI学习圈（6年积累，全国最大的机器人SLAM交流社区，为SLAM行业从业者提供从入门、学习、交流、求职、线下链接、合作、咨询、答疑等一系列的服务）知识星球每日更新内容

以下内容来自小六的机器人AI学习圈（6年积累，全国最大的机器人SLAM交流社区，为SLAM行业从业者提供从入门、学习、交流、求职、线下链接、合作、咨询、答疑等一系列的服务）知识星球每日更新内容

【Self-Adapting Large Visual-Language Models to Edge Devices across Visual Modalities】

文章链接：[2403.04908] Self-Adapting Large Visual-Language M...

项目主页：GitHub - ramdrop/edgevl: Offcial code for the ECCV...

视觉语言( Vision-Language，VL )模型的最新进展引起了人们对其在边缘设备上部署的兴趣，但在处理不同视觉模态、手动标注和计算约束方面仍然存在挑战。我们引入EdgeVL，这是一个新颖的框架，通过无缝集成双模态知识蒸馏和量化感知的对比学习来弥合这一差距。该方法能够适应大型VL模型，如CLIP，以便在资源有限的设备上有效地使用RGB和非RGB图像，而无需手动标注。Edge VL不仅将视觉语言对齐能力迁移到紧凑模型中，而且在量化后保持特征质量，显著提高了不同视觉模态的开放词汇分类性能。我们的工作代表了第一个将大型VL模型应用于边缘部署的系统性努力，在多个数据集上显示了高达15.4 %的精度提升，并且模型大小减少了高达93倍。

「小六的机器人AI圈」

为机器人AI行业从业者提供从入门、学习、交流、求职、线下链接、合作、创业、行业内幕、咨询、答疑等一系列的服务。快人一步，步步领先！已沉淀6年，星球内部资料包括秘制视频课程、独家大咖采访及经验、项目对接、星主独家思考、同城线下交流会、求职招聘&笔面试题、学习打卡挑战、小组学习、最新前沿论文分享等等.

联系客服领券加入，3天不满意全额退款~

来源：计算机视觉life