【开源】我花一个月做了个数字人开源项目Opentalking！支持实时对话、口播生成。

两个月之前想开始当up主，但是又不想真人出镜掉马甲，发现可以搞数字人。我也尝试了一些，要么收费很贵，要么效果不太行。其实有很多开源的模型出来了，不管是对口型的还是语音生成都有很多不错的模型出来。但是单独针对每个模型写个端到端pipeline重复工作有点多，所以我们几个朋友就做了个开源项目OpenTalking。目前大概1.7K stars，期间还被知乎官方推荐了。这是小弟我的人生第一个开源项目，看着它慢慢有人关注有人用其实还蛮开心的！

大家可以点击下面的链接来体验！欢迎提issue！如果喜欢的话麻烦点点Star支持我们！

网址: https://github.com/datascale-ai/opentalking
我们这个项目的定位是：企业级数字人编排框架。主要有几个功能:

• 打通了 ASR → LLM → TTS 全部的流程，每个组件解耦，对接了多种SOTA模型，不管你是什么计算资源都可以找到适合自己的方案 (我们测试过 Nvidia 4050, 5070, 3090, 4090， 以及专业级显卡昇腾910B)
• 在云厂商平台放了个镜像，大家可以一键启动去在线体验
• 支持实时对话、离线口播视频生成、视频克隆等等功能，能满足很多的需求
• 支持自定义数字人： 自定义数字人形象、音色克隆、背景、知识库、记忆库等等

直接上图:

• 操作界面

• 实时对话可以在github readme看一下demo
• 离线口播生成

• 视频克隆：可以根据摄像头自己的表情、口型来实时变化

• 知乎官方推荐
  
  

欢迎大家体验反馈！！！！也欢迎参与进来一起开发~~~~~