尧图网页设计 
数字人AI 应用语音多模态音视频后端【免费下载链接】OpenAvatarChat项目地址https://gitcode.com/gh_mirrors/op/OpenAvatarChat点击查看免费下载OpenAvatarChat 是一套模块化、可交互的数字人Digital Human对话系统实现官方定位为在一台普通 PC 上即可跑通完整功能。本文以其英文指南 docs/en/guide/introduction.md 为核心骨架结合 how-it-works.md、预置配置 preset-modes.md 与仓库源码如 src/demo.py、src/chat_engine/chat_engine.py、src/chat_engine/core/handler_manager.py系统讲解该系统的运行环境要求、组件依赖、模块化 Handler 架构、端到端数据流、配置驱动组合方式与实测性能参考帮助你快速判断它是否适合你的场景并顺利跑通第一套对话 Demo。一、项目定位一条 PC 上的完整数字人对话闭环OpenAvatarChat 的核心定位是模块化的交互数字人对话实现A modular interactive digital human conversation implementation。它并非某个单一能力的 Demo而是把**实时音视频通信、语音活动检测VAD、语音识别ASR、大模型对话LLM、语音合成TTS、数字人形象驱动Avatar**串成一条完整链路并且可以在一台 PC 上整体运行。系统支持两种典型的算力组织方式云端 API 组合ASR LLM TTS 全部走云服务例如阿里云百炼 DashScope 的 OpenAI 兼容接口与 CosyVoice 语音合成本地只承担数字人渲染与流媒体转发硬件门槛大幅降低。本地多模态大模型使用如 Qwen-Omni 这类本地多模态语言模型单模型同时承担 ASR/LLM/TTS 能力。这两种路线在预置配置中都有对应模板详见 第五节也是判断自己机器能不能跑的关键依据。二、运行环境与硬件要求官方文档明确给出以下硬性门槛见 docs/en/guide/introduction.md 的 Requirements 小节项目要求说明Python3.11.7且3.12版本范围较窄安装依赖前务必先确认 Python 版本GPUCUDA-enabled GPU数字人组件支持 GPU/CPU 推理但带 CUDA 的显卡是推荐配置CPU 推理官方测试设备 i9-13980HX文档记录 CPU 推理最高可达30 FPS指数字人渲染帧率需要强调两点版本约束是硬约束。仓库根目录的 pyproject.toml 与 install.py 都围绕该 Python 版本范围组织依赖如果你的环境是 Python 3.12 或 3.10 以下需要先切换解释器版本否则依赖解析会失败。云 API 可以大幅降低硬件需求。文档专门给出 TIP使用云端 ASR LLM TTS 可以显著降低对本地 GPU 的依赖对应实操可参考 docs/en/getting-started/liteavatar.md 中的百炼 API 配置。也就是说即使本地只有一张入门级显卡甚至纯 CPU也可以先把对话闭环跑起来。三、组件依赖全景RTC / WebUI / VAD / Avatar / TTSOpenAvatarChat 本身是编排框架核心 AI 能力来自一系列开源组件。官方文档给出了完整依赖清单下表在保留原清单的基础上补充了仓库内对应的实现源码位置均在src/handlers/下方便你按图索骥类型开源项目组件作用仓库内实现位置RTCHumanAIGC-Engineering/gradio-webrtc浏览器与服务器之间的 WebRTC 音视频传输src/handlers/client/rtc_client/client_handler_rtc.pyWebUIHumanAIGC-Engineering/OpenAvatarChat-WebUI前端界面已前后端分离独立仓库src/service/frontend_service/frontend_service.pyVADsnakers4/silero-vad语音活动检测判断用户是否在说话src/handlers/vad/silerovad/vad_handler_silero.pyAvatarHumanAIGC/lite-avatar轻量级 2D 数字人驱动src/handlers/avatar/liteavatar/Avataraigc3d/LAM_Audio2Expression音频到 3D 表情的映射模型 LAM_audio2expsrc/handlers/avatar/lam/AvatarTMElyralab/MuseTalk实时嘴型同步数字人src/handlers/avatar/musetalk/AvatarSoul-AILab/SoulX-FlashHead基于扩散模型的实时流式说话头模型 SoulX-FlashHead-1_3Bsrc/handlers/avatar/flashhead/TTSFunAudioLLM/CosyVoice语音合成本地/云端双路线src/handlers/tts/cosyvoice/ 与 src/handlers/tts/bailian_tts/辅助模型facebook/wav2vec2-base-960hLAM 等头像模型使用的音频特征提取基础模型由 scripts/download_models.py 统一拉取几点值得注意的细节数字人方案不是唯一绑定LiteAvatar、LAM、MuseTalk、FlashHead 四套头像引擎在仓库中并列存在分别覆盖 2D 轻量、3D 表情、嘴型合成、说话头生成等不同形态此外还有without_avatar纯语音聊天模式见 src/handlers/avatar/without_avatar/。RTC 与前端已解耦v0.6.0 之后前端独立为 OpenAvatarChat-WebUI 仓库后端通过 Gradio/FastAPI 挂载服务参见 src/demo.py 中gradio.mount_gradio_app的使用。Live2D 社区方案官方文档提示若想用 Live2D 2D 角色替代 3D 数字人可关注社区维护的 OpenAvatarChat-WebUI-Live2D 前端且无需改动后端——这也从侧面印证了前后端分离架构的扩展性。四、模块化 Handler 架构与端到端数据流4.1 七类核心 Handler从架构文档 docs/en/guide/how-it-works.md 可以看出系统由以下核心模块Handler组成每类 Handler 只负责链路中的一个环节Handler职责Client Handler管理 WebRTC 音视频流连接RtcClient/WSClient等VAD Handler语音活动检测识别用户说话的起止ASR Handler自动语音识别语音转文字LLM Handler大模型对话推理生成回复文本Agent Handler多轮工具调用 Agent替代传统 LLM HandlerBeta 功能TTS Handler文本转语音把回复合成语音Avatar Handler数字人驱动由语音生成面部/表情动画4.2 数据流从麦克风到数字人开口完整链路文档原文七步如下用户通过浏览器WebRTC发送音/视频流VAD 检测用户是否在说话ASR 将语音转为文本LLM/Agent 生成回复文本TTS 将文本合成为语音Avatar 由语音生成面部动画合成的音/视频流经 WebRTC 返回给用户。4.3 源码层面的模块化是如何实现的模块化不是概念而是配置驱动 动态加载的真实机制源码中可以直接印证动态导入handler_manager.py 遍历handler_configs对每个启用的 Handler 用import_class(handler_config.module, ...)按配置中的module路径例如client/rtc_client/client_handler_rtc动态导入类并注册handler_search_path默认src/handlers决定了模块查找范围。每个 Handler 的通用配置模型chat_engine_config_data.py 中HandlerBaseConfigModel定义了enabled、module、concurrent_limit、input_type_override/output_type_override等公共字段。其中input_type_override是双工Duplex打断模式的实现基石——例如把HUMAN_AUDIO映射为HUMAN_DUPLEX_AUDIO让同一 Handler 在打断场景复用不同数据类型。会话级流水线chat_session.py 为每个会话创建SignalManager与StreamManager为每个 Handler 分配输入队列、流Stream和信号监听并通过独立线程handler_pumper串行消费数据chat_engine.py 负责整体初始化与启停。换言之一次对话 一个ChatSession其内部是多个 Handler 线程 数据流 信号机制编排而成。多会话支持chat_engine.sessions按session_id管理多个会话LiteAvatar 已支持单机多 session见 README 0.5.1 更新说明。五、配置驱动的组件组合预置模式与配置文件解析5.1 预置配置模式一览OpenAvatarChat 通过配置文件组织模块组合官方在 config/ 目录下预置了多套可直接使用的模板完整清单见 docs/en/reference/preset-modes.mdCONFIG 名称ASRLLMTTSAVATARchat_with_lam.yamlSenseVoiceAPIAPILAMchat_with_qwen_omni.yamlQwen-OmniQwen-OmniQwen-Omnilite-avatarchat_with_openai_compatible.yamlSenseVoiceAPICosyVoicelite-avatarchat_with_openai_compatible_edge_tts.yamlSenseVoiceAPIedgettslite-avatarchat_with_openai_compatible_bailian_cosyvoice.yamlSenseVoiceAPIAPIlite-avatarchat_with_openai_compatible_bailian_cosyvoice_musetalk.yamlSenseVoiceAPIAPIMuseTalkchat_with_openai_compatible_bailian_cosyvoice_flashhead.yamlSenseVoiceAPIAPIFlashHeadchat_with_openai_compatible_bailian_cosyvoice_flashhead_duplex.yamlSenseVoiceAPIAPIFlashHead (双工)chat_with_lam_duplex.yamlSenseVoiceAPIAPILAM (双工)chat_with_openai_compatible_bailian_cosyvoice_duplex.yamlSenseVoiceAPIAPIlite-avatar (双工)chat_with_openai_compatible_bailian_cosyvoice_musetalk_duplex.yamlSenseVoiceAPIAPIMuseTalk (双工)chat_with_openai_compatible_bailian_cosyvoice_flashhead_duplex_agent.yamlSenseVoiceAgentAPIFlashHead (双工 Agent) Beta约定*_duplex.yaml支持用户说话中途打断*_agent.yaml使用多轮工具调用 Agent 替代传统 LLM Handler属于 Beta 功能详见 docs/en/beta/chat-agent.md。5.2 典型配置文件逐段拆解以最常用的 config/chat_with_openai_compatible_bailian_cosyvoice.yamlLiteAvatar 百炼云 API 组合为例配置按logger → service → chat_engine三层组织default: logger: log_level: INFO service: host: 0.0.0.0 port: 8282 cert_file: ssl_certs/localhost.crt cert_key: ssl_certs/localhost.key chat_engine: model_root: models concurrent_limit: 2 handler_search_path: - src/handlers handler_configs: RtcClient: module: client/rtc_client/client_handler_rtc connection_ttl: 900 # 单个会话最大存活时长秒 InterruptHandler: module: logic/interrupt/interrupt_handler # 打断处理器接收 INTERRUPT 信号并取消流 SileroVad: module: vad/silerovad/vad_handler_silero speaking_threshold: 0.5 start_delay: 2048 # 说话开始判定延迟采样点数 end_delay: 5000 # 说话结束判定延迟 buffer_look_back: 5000 speech_padding: 512 SenseVoice: module: asr/sensevoice/asr_handler_sensevoice model_name: iic/SenseVoiceSmall CosyVoice: module: tts/bailian_tts/tts_handler_cosyvoice_bailian # 百炼云端 CosyVoice voice: longxiaochun model_name: cosyvoice-v1 # api_key: # 默认读取环境变量 DASHSCOPE_API_KEY LLMOpenAICompatible: module: llm/openai_compatible/llm_handler_openai_compatible model_name: qwen-plus enable_video_input: False # 是否启用视频输入需确认 LLM 支持 history_length: 20 # 对话历史保留轮数 system_prompt: 请你扮演一个 AI 助手用简短的两三句对话来回答用户的问题并在对话内容中加入合适的标点符号不需要讨论标点符号相关的内容 api_url: https://dashscope.aliyuncs.com/compatible-mode/v1 # api_url: http://127.0.0.1:11434/v1 # 也可指向本地 Ollama # api_url: https://generativelanguage.googleapis.com/v1beta/openai/ # api_key: # 默认读取环境变量 DASHSCOPE_API_KEY LiteAvatar: module: avatar/liteavatar/avatar_handler_liteavatar avatar_name: 20250408/sample_data fps: 25 # 数字人渲染帧率 debug: false enable_fast_mode: false use_gpu: true该文件透露了几个非常实用的编排技巧顶层键即环境名default:是环境标识运行时通过--env切换可以在同一文件里为不同环境开发/生产维护多套配置。API Key 走环境变量百炼的DASHSCOPE_API_KEY不强制写在配置里默认从环境变量读取避免敏感信息入库。LLM 接口是 OpenAI 兼容协议api_url默认指向百炼 DashScope 兼容模式但注释里给出了本地 Ollamahttp://127.0.0.1:11434/v1等替代地址意味着任何 OpenAI 兼容服务都可直接替换。SSE/证书cert_file/cert_key对应 HTTPS 部署本地自签证书由 scripts/create_ssl_certs.sh 生成。六、启动入口与命令行参数服务统一从 src/demo.py 启动入口参数如下参数说明默认值--host服务监听地址取配置中service.host--port服务端口取配置中service.port如 8282--config使用的配置文件config/chat_with_openai_compatible_bailian_cosyvoice.yaml--env配置文件中的环境节default此外环境变量OPEN_AVATAR_CHAT_CONFIG可覆盖--config见 src/demo.py便于容器化部署时统一注入配置。启动后服务自带三个健康检查接口由 src/chat_engine/chat_engine.py 注册GET /version返回当前版本号0.6.0GET /liveness存活探针GET /readiness就绪探针ChatEngine 未初始化完成时返回 500。七、快速开始从零跑通一个 LiteAvatar 百炼对话结合 README 的 Quick StartREADME.md与仓库脚本完整流程如下# 1) 克隆仓库含子模块 git clone https://gitcode.com/gh_mirrors/op/OpenAvatarChat cd OpenAvatarChat git submodule update --init --recursive --depth 1 # 2) 安装依赖LiteAvatar 百炼 API 组合为例 uv run install.py --config config/chat_with_openai_compatible_bailian_cosyvoice.yaml # 3) 下载数字人模型 uv run scripts/download_models.py --handler liteavatar # 4) 启动服务 uv run src/demo.py --config config/chat_with_openai_compatible_bailian_cosyvoice.yaml几点实操提示依赖管理统一走uv run模型下载统一走 scripts/download_models.py支持--handler按组件分别下载如lam、musetalk、flashhead这是 0.6.0 重构后的标准化流程启动前请确认已导出DASHSCOPE_API_KEY百炼密钥浏览器通过 WebRTC 接入默认端口 8282LiteAvatar 等数字人方案均支持手动打断与双工打断模式。八、性能参考实测延迟与测量口径架构文档 docs/en/guide/how-it-works.md 给出了官方实测数据测试平台i9-13900KF Nvidia RTX 4090平均响应延迟约2.2 秒连续十次测试取均值延迟测量口径从用户语音结束到数字人开口说话之间的时间包含 RTC 往返时延、VAD 结束判定延迟与各组件计算耗时。需要强调的是这组数据是官方在特定硬件与网络条件下的参考值实际表现会随所选组件本地模型 vs 云 API、网络状况与机器配置浮动。文档同时说明延迟优化主要依赖 VAD 检测、语音缓冲与帧率控制等机制speaking_threshold、start_delay/end_delay、buffer_look_back、Avatarfps等参数即对应这些优化点。九、总结与延伸阅读总体来看OpenAvatarChat 的价值在于单机跑通 模块可换官方预置 12 套配置模板覆盖 LiteAvatar/LAM/MuseTalk/FlashHead 四种数字人与云端/本地多套模型组合改造链路只需要调整 config/ 下的 YAMLHandler 的动态加载机制handler_manager.py保证新增组件无需改动引擎核心。进一步阅读建议部署细节与 Docker 用法docs/en/getting-started/index.md、docs/en/getting-started/docker.md百炼 API 接入docs/en/getting-started/liteavatar.md架构原理docs/en/guide/how-it-works.md、docs/en/guide/deployment.md组件参考手册docs/en/reference/index.mdAgent 模式Betadocs/en/beta/chat-agent.md常见问题docs/en/community/faq.md赞分享数字人AI 应用语音多模态音视频后端【免费下载链接】OpenAvatarChat项目地址https://gitcode.com/gh_mirrors/op/OpenAvatarChat点击查看免费下载相关推荐OpenAvatarChat 数字人对话系统详解模块化架构、系统需求与组件依赖OpenAvatarChat 数字人对话系统详解模块化架构、系统需求与组件依赖 OpenAvatarChatOpen Avatar Chat是一套面向单机数字人AI 应用语音多模态音视频后端OpenAvatarChat 模块化交互数字人对话框架架构解析与快速实战指南OpenAvatarChat 模块化交互数字人对话框架架构解析与快速实战指南 导读 OpenAvatarChatOAC是一套模块化的交互数字人对话实现通数字人AI 应用语音多模态音视频后端OpenAvatarChat 实战指南模块化交互数字人对话框架的架构、配置与部署OpenAvatarChat 实战指南模块化交互数字人对话框架的架构、配置与部署 导读 OpenAvatarChat 是一个基于高度模块化 Handler 架数字人AI 应用语音多模态音视频后端上一篇NVIDIA Ingest监控告警配置关键指标与告警策略下一篇CBoard数据可视化平台20图表类型与自助BI分析的完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 OpenAvatarChat 入门指南：单机可运行的模块化交互数字人对话系统架构、组件依赖与数据流全解析
数字人AI 应用语音多模态音视频后端【免费下载链接】OpenAvatarChat项目地址https://gitcode.com/gh_mirrors/op/OpenAvatarChat点击查看免费下载OpenAvatarChat 是一套模块化、可交互的数字人Digital Human对话系统实现官方定位为在一台普通 PC 上即可跑通完整功能。本文以其英文指南 docs/en/guide/introduction.md 为核心骨架结合 how-it-works.md、预置配置 preset-modes.md 与仓库源码如 src/demo.py、src/chat_engine/chat_engine.py、src/chat_engine/core/handler_manager.py系统讲解该系统的运行环境要求、组件依赖、模块化 Handler 架构、端到端数据流、配置驱动组合方式与实测性能参考帮助你快速判断它是否适合你的场景并顺利跑通第一套对话 Demo。一、项目定位一条 PC 上的完整数字人对话闭环OpenAvatarChat 的核心定位是模块化的交互数字人对话实现A modular interactive digital human conversation implementation。它并非某个单一能力的 Demo而是把**实时音视频通信、语音活动检测VAD、语音识别ASR、大模型对话LLM、语音合成TTS、数字人形象驱动Avatar**串成一条完整链路并且可以在一台 PC 上整体运行。系统支持两种典型的算力组织方式云端 API 组合ASR LLM TTS 全部走云服务例如阿里云百炼 DashScope 的 OpenAI 兼容接口与 CosyVoice 语音合成本地只承担数字人渲染与流媒体转发硬件门槛大幅降低。本地多模态大模型使用如 Qwen-Omni 这类本地多模态语言模型单模型同时承担 ASR/LLM/TTS 能力。这两种路线在预置配置中都有对应模板详见 第五节也是判断自己机器能不能跑的关键依据。二、运行环境与硬件要求官方文档明确给出以下硬性门槛见 docs/en/guide/introduction.md 的 Requirements 小节项目要求说明Python3.11.7且3.12版本范围较窄安装依赖前务必先确认 Python 版本GPUCUDA-enabled GPU数字人组件支持 GPU/CPU 推理但带 CUDA 的显卡是推荐配置CPU 推理官方测试设备 i9-13980HX文档记录 CPU 推理最高可达30 FPS指数字人渲染帧率需要强调两点版本约束是硬约束。仓库根目录的 pyproject.toml 与 install.py 都围绕该 Python 版本范围组织依赖如果你的环境是 Python 3.12 或 3.10 以下需要先切换解释器版本否则依赖解析会失败。云 API 可以大幅降低硬件需求。文档专门给出 TIP使用云端 ASR LLM TTS 可以显著降低对本地 GPU 的依赖对应实操可参考 docs/en/getting-started/liteavatar.md 中的百炼 API 配置。也就是说即使本地只有一张入门级显卡甚至纯 CPU也可以先把对话闭环跑起来。三、组件依赖全景RTC / WebUI / VAD / Avatar / TTSOpenAvatarChat 本身是编排框架核心 AI 能力来自一系列开源组件。官方文档给出了完整依赖清单下表在保留原清单的基础上补充了仓库内对应的实现源码位置均在src/handlers/下方便你按图索骥类型开源项目组件作用仓库内实现位置RTCHumanAIGC-Engineering/gradio-webrtc浏览器与服务器之间的 WebRTC 音视频传输src/handlers/client/rtc_client/client_handler_rtc.pyWebUIHumanAIGC-Engineering/OpenAvatarChat-WebUI前端界面已前后端分离独立仓库src/service/frontend_service/frontend_service.pyVADsnakers4/silero-vad语音活动检测判断用户是否在说话src/handlers/vad/silerovad/vad_handler_silero.pyAvatarHumanAIGC/lite-avatar轻量级 2D 数字人驱动src/handlers/avatar/liteavatar/Avataraigc3d/LAM_Audio2Expression音频到 3D 表情的映射模型 LAM_audio2expsrc/handlers/avatar/lam/AvatarTMElyralab/MuseTalk实时嘴型同步数字人src/handlers/avatar/musetalk/AvatarSoul-AILab/SoulX-FlashHead基于扩散模型的实时流式说话头模型 SoulX-FlashHead-1_3Bsrc/handlers/avatar/flashhead/TTSFunAudioLLM/CosyVoice语音合成本地/云端双路线src/handlers/tts/cosyvoice/ 与 src/handlers/tts/bailian_tts/辅助模型facebook/wav2vec2-base-960hLAM 等头像模型使用的音频特征提取基础模型由 scripts/download_models.py 统一拉取几点值得注意的细节数字人方案不是唯一绑定LiteAvatar、LAM、MuseTalk、FlashHead 四套头像引擎在仓库中并列存在分别覆盖 2D 轻量、3D 表情、嘴型合成、说话头生成等不同形态此外还有without_avatar纯语音聊天模式见 src/handlers/avatar/without_avatar/。RTC 与前端已解耦v0.6.0 之后前端独立为 OpenAvatarChat-WebUI 仓库后端通过 Gradio/FastAPI 挂载服务参见 src/demo.py 中gradio.mount_gradio_app的使用。Live2D 社区方案官方文档提示若想用 Live2D 2D 角色替代 3D 数字人可关注社区维护的 OpenAvatarChat-WebUI-Live2D 前端且无需改动后端——这也从侧面印证了前后端分离架构的扩展性。四、模块化 Handler 架构与端到端数据流4.1 七类核心 Handler从架构文档 docs/en/guide/how-it-works.md 可以看出系统由以下核心模块Handler组成每类 Handler 只负责链路中的一个环节Handler职责Client Handler管理 WebRTC 音视频流连接RtcClient/WSClient等VAD Handler语音活动检测识别用户说话的起止ASR Handler自动语音识别语音转文字LLM Handler大模型对话推理生成回复文本Agent Handler多轮工具调用 Agent替代传统 LLM HandlerBeta 功能TTS Handler文本转语音把回复合成语音Avatar Handler数字人驱动由语音生成面部/表情动画4.2 数据流从麦克风到数字人开口完整链路文档原文七步如下用户通过浏览器WebRTC发送音/视频流VAD 检测用户是否在说话ASR 将语音转为文本LLM/Agent 生成回复文本TTS 将文本合成为语音Avatar 由语音生成面部动画合成的音/视频流经 WebRTC 返回给用户。4.3 源码层面的模块化是如何实现的模块化不是概念而是配置驱动 动态加载的真实机制源码中可以直接印证动态导入handler_manager.py 遍历handler_configs对每个启用的 Handler 用import_class(handler_config.module, ...)按配置中的module路径例如client/rtc_client/client_handler_rtc动态导入类并注册handler_search_path默认src/handlers决定了模块查找范围。每个 Handler 的通用配置模型chat_engine_config_data.py 中HandlerBaseConfigModel定义了enabled、module、concurrent_limit、input_type_override/output_type_override等公共字段。其中input_type_override是双工Duplex打断模式的实现基石——例如把HUMAN_AUDIO映射为HUMAN_DUPLEX_AUDIO让同一 Handler 在打断场景复用不同数据类型。会话级流水线chat_session.py 为每个会话创建SignalManager与StreamManager为每个 Handler 分配输入队列、流Stream和信号监听并通过独立线程handler_pumper串行消费数据chat_engine.py 负责整体初始化与启停。换言之一次对话 一个ChatSession其内部是多个 Handler 线程 数据流 信号机制编排而成。多会话支持chat_engine.sessions按session_id管理多个会话LiteAvatar 已支持单机多 session见 README 0.5.1 更新说明。五、配置驱动的组件组合预置模式与配置文件解析5.1 预置配置模式一览OpenAvatarChat 通过配置文件组织模块组合官方在 config/ 目录下预置了多套可直接使用的模板完整清单见 docs/en/reference/preset-modes.mdCONFIG 名称ASRLLMTTSAVATARchat_with_lam.yamlSenseVoiceAPIAPILAMchat_with_qwen_omni.yamlQwen-OmniQwen-OmniQwen-Omnilite-avatarchat_with_openai_compatible.yamlSenseVoiceAPICosyVoicelite-avatarchat_with_openai_compatible_edge_tts.yamlSenseVoiceAPIedgettslite-avatarchat_with_openai_compatible_bailian_cosyvoice.yamlSenseVoiceAPIAPIlite-avatarchat_with_openai_compatible_bailian_cosyvoice_musetalk.yamlSenseVoiceAPIAPIMuseTalkchat_with_openai_compatible_bailian_cosyvoice_flashhead.yamlSenseVoiceAPIAPIFlashHeadchat_with_openai_compatible_bailian_cosyvoice_flashhead_duplex.yamlSenseVoiceAPIAPIFlashHead (双工)chat_with_lam_duplex.yamlSenseVoiceAPIAPILAM (双工)chat_with_openai_compatible_bailian_cosyvoice_duplex.yamlSenseVoiceAPIAPIlite-avatar (双工)chat_with_openai_compatible_bailian_cosyvoice_musetalk_duplex.yamlSenseVoiceAPIAPIMuseTalk (双工)chat_with_openai_compatible_bailian_cosyvoice_flashhead_duplex_agent.yamlSenseVoiceAgentAPIFlashHead (双工 Agent) Beta约定*_duplex.yaml支持用户说话中途打断*_agent.yaml使用多轮工具调用 Agent 替代传统 LLM Handler属于 Beta 功能详见 docs/en/beta/chat-agent.md。5.2 典型配置文件逐段拆解以最常用的 config/chat_with_openai_compatible_bailian_cosyvoice.yamlLiteAvatar 百炼云 API 组合为例配置按logger → service → chat_engine三层组织default: logger: log_level: INFO service: host: 0.0.0.0 port: 8282 cert_file: ssl_certs/localhost.crt cert_key: ssl_certs/localhost.key chat_engine: model_root: models concurrent_limit: 2 handler_search_path: - src/handlers handler_configs: RtcClient: module: client/rtc_client/client_handler_rtc connection_ttl: 900 # 单个会话最大存活时长秒 InterruptHandler: module: logic/interrupt/interrupt_handler # 打断处理器接收 INTERRUPT 信号并取消流 SileroVad: module: vad/silerovad/vad_handler_silero speaking_threshold: 0.5 start_delay: 2048 # 说话开始判定延迟采样点数 end_delay: 5000 # 说话结束判定延迟 buffer_look_back: 5000 speech_padding: 512 SenseVoice: module: asr/sensevoice/asr_handler_sensevoice model_name: iic/SenseVoiceSmall CosyVoice: module: tts/bailian_tts/tts_handler_cosyvoice_bailian # 百炼云端 CosyVoice voice: longxiaochun model_name: cosyvoice-v1 # api_key: # 默认读取环境变量 DASHSCOPE_API_KEY LLMOpenAICompatible: module: llm/openai_compatible/llm_handler_openai_compatible model_name: qwen-plus enable_video_input: False # 是否启用视频输入需确认 LLM 支持 history_length: 20 # 对话历史保留轮数 system_prompt: 请你扮演一个 AI 助手用简短的两三句对话来回答用户的问题并在对话内容中加入合适的标点符号不需要讨论标点符号相关的内容 api_url: https://dashscope.aliyuncs.com/compatible-mode/v1 # api_url: http://127.0.0.1:11434/v1 # 也可指向本地 Ollama # api_url: https://generativelanguage.googleapis.com/v1beta/openai/ # api_key: # 默认读取环境变量 DASHSCOPE_API_KEY LiteAvatar: module: avatar/liteavatar/avatar_handler_liteavatar avatar_name: 20250408/sample_data fps: 25 # 数字人渲染帧率 debug: false enable_fast_mode: false use_gpu: true该文件透露了几个非常实用的编排技巧顶层键即环境名default:是环境标识运行时通过--env切换可以在同一文件里为不同环境开发/生产维护多套配置。API Key 走环境变量百炼的DASHSCOPE_API_KEY不强制写在配置里默认从环境变量读取避免敏感信息入库。LLM 接口是 OpenAI 兼容协议api_url默认指向百炼 DashScope 兼容模式但注释里给出了本地 Ollamahttp://127.0.0.1:11434/v1等替代地址意味着任何 OpenAI 兼容服务都可直接替换。SSE/证书cert_file/cert_key对应 HTTPS 部署本地自签证书由 scripts/create_ssl_certs.sh 生成。六、启动入口与命令行参数服务统一从 src/demo.py 启动入口参数如下参数说明默认值--host服务监听地址取配置中service.host--port服务端口取配置中service.port如 8282--config使用的配置文件config/chat_with_openai_compatible_bailian_cosyvoice.yaml--env配置文件中的环境节default此外环境变量OPEN_AVATAR_CHAT_CONFIG可覆盖--config见 src/demo.py便于容器化部署时统一注入配置。启动后服务自带三个健康检查接口由 src/chat_engine/chat_engine.py 注册GET /version返回当前版本号0.6.0GET /liveness存活探针GET /readiness就绪探针ChatEngine 未初始化完成时返回 500。七、快速开始从零跑通一个 LiteAvatar 百炼对话结合 README 的 Quick StartREADME.md与仓库脚本完整流程如下# 1) 克隆仓库含子模块 git clone https://gitcode.com/gh_mirrors/op/OpenAvatarChat cd OpenAvatarChat git submodule update --init --recursive --depth 1 # 2) 安装依赖LiteAvatar 百炼 API 组合为例 uv run install.py --config config/chat_with_openai_compatible_bailian_cosyvoice.yaml # 3) 下载数字人模型 uv run scripts/download_models.py --handler liteavatar # 4) 启动服务 uv run src/demo.py --config config/chat_with_openai_compatible_bailian_cosyvoice.yaml几点实操提示依赖管理统一走uv run模型下载统一走 scripts/download_models.py支持--handler按组件分别下载如lam、musetalk、flashhead这是 0.6.0 重构后的标准化流程启动前请确认已导出DASHSCOPE_API_KEY百炼密钥浏览器通过 WebRTC 接入默认端口 8282LiteAvatar 等数字人方案均支持手动打断与双工打断模式。八、性能参考实测延迟与测量口径架构文档 docs/en/guide/how-it-works.md 给出了官方实测数据测试平台i9-13900KF Nvidia RTX 4090平均响应延迟约2.2 秒连续十次测试取均值延迟测量口径从用户语音结束到数字人开口说话之间的时间包含 RTC 往返时延、VAD 结束判定延迟与各组件计算耗时。需要强调的是这组数据是官方在特定硬件与网络条件下的参考值实际表现会随所选组件本地模型 vs 云 API、网络状况与机器配置浮动。文档同时说明延迟优化主要依赖 VAD 检测、语音缓冲与帧率控制等机制speaking_threshold、start_delay/end_delay、buffer_look_back、Avatarfps等参数即对应这些优化点。九、总结与延伸阅读总体来看OpenAvatarChat 的价值在于单机跑通 模块可换官方预置 12 套配置模板覆盖 LiteAvatar/LAM/MuseTalk/FlashHead 四种数字人与云端/本地多套模型组合改造链路只需要调整 config/ 下的 YAMLHandler 的动态加载机制handler_manager.py保证新增组件无需改动引擎核心。进一步阅读建议部署细节与 Docker 用法docs/en/getting-started/index.md、docs/en/getting-started/docker.md百炼 API 接入docs/en/getting-started/liteavatar.md架构原理docs/en/guide/how-it-works.md、docs/en/guide/deployment.md组件参考手册docs/en/reference/index.mdAgent 模式Betadocs/en/beta/chat-agent.md常见问题docs/en/community/faq.md赞分享数字人AI 应用语音多模态音视频后端【免费下载链接】OpenAvatarChat项目地址https://gitcode.com/gh_mirrors/op/OpenAvatarChat点击查看免费下载相关推荐OpenAvatarChat 数字人对话系统详解模块化架构、系统需求与组件依赖OpenAvatarChat 数字人对话系统详解模块化架构、系统需求与组件依赖 OpenAvatarChatOpen Avatar Chat是一套面向单机数字人AI 应用语音多模态音视频后端OpenAvatarChat 模块化交互数字人对话框架架构解析与快速实战指南OpenAvatarChat 模块化交互数字人对话框架架构解析与快速实战指南 导读 OpenAvatarChatOAC是一套模块化的交互数字人对话实现通数字人AI 应用语音多模态音视频后端OpenAvatarChat 实战指南模块化交互数字人对话框架的架构、配置与部署OpenAvatarChat 实战指南模块化交互数字人对话框架的架构、配置与部署 导读 OpenAvatarChat 是一个基于高度模块化 Handler 架数字人AI 应用语音多模态音视频后端上一篇NVIDIA Ingest监控告警配置关键指标与告警策略下一篇CBoard数据可视化平台20图表类型与自助BI分析的完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考