照片秒变表情包,HelloMeme 上线模力方舟在线体验!

B站影视 电影资讯 2025-06-18 18:18 1

摘要:模力方舟现已上线由北京大学、天津大学、上海大学等高校联合 HelloGroup 团队发布的开源模型HelloMeme。在线体验地址:https://ai.gitee.com/serverless-api?model=HelloMeme。

还在用手动抠图做表情包?现在,你只需要交给模型一张照片和参考图片/视频,就能自动生成动态表情演绎,让你的表情包「自己演出来」。

模力方舟现已上线由北京大学、天津大学、上海大学等高校联合 HelloGroup 团队发布的开源模型HelloMeme。在线体验地址:https://ai.gitee.com/serverless-api?model=HelloMeme

作为一个面向表情复现与视频生成的创新模型,HelloMeme不仅能让照片动起来,还能复刻原视频中的微表情、头部动作,生成高度还原的动态内容,天然适合用于表情包创作、虚拟角色演绎等场景。

动态表情包生成

传统表情动画模型在遇到「夸张表情 + 大幅动作」时,容易失真、破相;HelloMeme 针对这些痛点做了结构级优化,尤其适合用于动态表情包这类高动作幅度的内容生成:

表情丰富:支持精细化表情变化,能还原眼神、嘴型、表情肌等微动作;动作自然:融合头部姿态信息,兼顾局部表情与整体运动协调性;原生兼容 SD1.5:不动原模型权重,只优化轻量插件模块,泛化强、拓展性高;支持视频驱动:上传任意视频片段,照片即可准确带入。

HelloMeme 基于Stable Diffusion 1.5构建,通过插件方式插入了一种名为Spatial Knitting Attention(SK Attention)的新型注意力机制:

模型结构包含 HMReferenceNet、HMControlNet、HMDenoisingNet 三大模块;参考图像提取高保真特征,驱动视频提取头部姿态 + 表情;核心去噪环节融合两类特征,保持原始面部特征的同时完成动作迁移;可选集成 Animatediff 模块,实现帧间过渡自然的视频连续生成。

整个流程无需更改 SD1.5 模型本身参数,支持与现有 LoRA / DreamBooth 等微调模型组合使用。

在 VFHQ 和 FFHQ 等标准数据集上,HelloMeme 在多个客观指标中均优于主流方法,包括:

FID 降低至 37.69(越低越好),优于 FollowYourEmoji(39.11)、LivePortrait(43.84);PSNR / SSIM / LPIPS 指标表现更好,说明视频画质与驱动动作匹配度更高;在复杂表情、遮挡、角度偏移场景下生成稳定,视觉效果自然流畅。

简单两步,生成属于你的表情动画(以动态表情包为例)。

上传一张正面照片 + 任意一段人物视频;在线点击生成,即可获取上传照片结合视频动态表情结合的视频。

点击以下链接,来模力方舟体验用HelloMeme做自己的表情包吧:https://ai.gitee.com/serverless-api?model=HelloMeme

模力方舟的 AI 模型广场提供了行业大模型、文本生成、视觉模型、语音多模态、图像生成与处理、3D生成、文档处理/OCR、视频生成、自动语音识别、语音合成、向量化和重排、代码生成、风控识别十三大类共 106 款各领域的顶尖开源模型的在线体验和 API 使用。通过购买模型资源包,即可通过极低的价格即可尽享众多主流模型。

来源:码云Gitee

相关推荐