最近比较火的一个AI场景，就是用原声讲外语，嘴型同步，网上找了些资料，今天也跑起来了，推荐 Wav2Lip，官网地址：Github Wav2Lip

环境准备

  • Python3.6
  • ffmpeg
  • git clone https://github.com/Rudrabha/Wav2Lip.git
  • pip install -r requirements.txt
  • 下载人脸检测模型，并放在路径 face_detection/detection/sfd/s3fd.pth
  • Wav2Lip模型下载，放到路径 checkpoints/wav2lip.pth

上述步骤中涉及到下载地址的，直接访问官网首页对应链接即可下载

安装异常排查

opencv 安装异常

将 requirements.txt 中的 opencv-contrib-python>=4.2.0.34 修改为 opencv-contrib-python==4.2.0.34

pytorch 1.1.0 安装异常

直接进 pytorch 官网，用官网的方法安装 https://pytorch.org/get-started/previous-versions/#v110

视频demo

直接用官方的视频demo，进入 https://bhaasha.iiit.ac.in/lipsync/ 这个地址，里面的三个视频可以直接下载使用

音频生成

推荐这个网站，很好用 https://www.text-to-speech.cn/

运行命令

python inference.py --checkpoint_path ./checkpoints/wav2lip.pth --face D:/Ekoz/Items/QiuBao/dictator_orig.mp4 --audio D:/Ekoz/Items/QiuBao/output.wav
最终合成的视频，在 results 目录下