摘要:模力方舟现已上线由北京大学、天津大学、上海大学等高校联合 HelloGroup 团队发布的开源模型HelloMeme。在线体验地址:https://ai.gitee.com/serverless-api?model=HelloMeme。
还在用手动抠图做表情包?现在,你只需要交给模型一张照片和参考图片/视频,就能自动生成动态表情演绎,让你的表情包「自己演出来」。
模力方舟现已上线由北京大学、天津大学、上海大学等高校联合 HelloGroup 团队发布的开源模型HelloMeme。在线体验地址:https://ai.gitee.com/serverless-api?model=HelloMeme。
作为一个面向表情复现与视频生成的创新模型,HelloMeme不仅能让照片动起来,还能复刻原视频中的微表情、头部动作,生成高度还原的动态内容,天然适合用于表情包创作、虚拟角色演绎等场景。
传统表情动画模型在遇到「夸张表情 + 大幅动作」时,容易失真、破相;HelloMeme 针对这些痛点做了结构级优化,尤其适合用于动态表情包这类高动作幅度的内容生成:
表情丰富:支持精细化表情变化,能还原眼神、嘴型、表情肌等微动作;动作自然:融合头部姿态信息,兼顾局部表情与整体运动协调性;原生兼容 SD1.5:不动原模型权重,只优化轻量插件模块,泛化强、拓展性高;支持视频驱动:上传任意视频片段,照片即可准确带入。HelloMeme 基于Stable Diffusion 1.5构建,通过插件方式插入了一种名为Spatial Knitting Attention(SK Attention)的新型注意力机制:
模型结构包含 HMReferenceNet、HMControlNet、HMDenoisingNet 三大模块;整个流程无需更改 SD1.5 模型本身参数,支持与现有 LoRA / DreamBooth 等微调模型组合使用。
在 VFHQ 和 FFHQ 等标准数据集上,HelloMeme 在多个客观指标中均优于主流方法,包括:
FID 降低至 37.69(越低越好),优于 FollowYourEmoji(39.11)、LivePortrait(43.84);PSNR / SSIM / LPIPS 指标表现更好,说明视频画质与驱动动作匹配度更高;在复杂表情、遮挡、角度偏移场景下生成稳定,视觉效果自然流畅。简单两步,生成属于你的表情动画(以动态表情包为例)。
上传一张正面照片 + 任意一段人物视频;点击以下链接,来模力方舟体验用HelloMeme做自己的表情包吧:https://ai.gitee.com/serverless-api?model=HelloMeme
模力方舟的 AI 模型广场提供了行业大模型、文本生成、视觉模型、语音多模态、图像生成与处理、3D生成、文档处理/OCR、视频生成、自动语音识别、语音合成、向量化和重排、代码生成、风控识别十三大类共 106 款各领域的顶尖开源模型的在线体验和 API 使用。通过购买模型资源包,即可通过极低的价格即可尽享众多主流模型。
来源:码云Gitee