据悉，号称“显著优于目前的DreamTalk、Wav2Lip、SadTalker 等竞品”。研究人员起首操纵参考收集（ReferenceNet）从参考图像和动做帧中提取特征，据引见，该框架工做过程分为两个次要阶段，模子就可以或许让照片中的人物启齿说出相关音频，研究团队分享了几段由EMO框架生成的 DEMO 演示片段，支撑中英韩等言语。以确保视频中脚色身份的分歧性和动做的天然流利。再连系多帧噪声和面部区域掩码来生成视频，只需要输入人物照片及音频，

　　该框架还融合了两种留意机制和时间模块，之后操纵预锻炼的音频编码器处置声音并嵌入，该框架号称能够用于“对口型”！

福建9888拉斯维加斯信息技术有限公司