如果你想做一个双人AI虚拟偶像企划第一个绕不开的工作就是让角色真正“唱”起来。角色人设、世界观设定、歌曲文案都可以靠人工完成但“歌声”这一步过去要么找真人歌手录制要么用传统音源库逐字逐句调参。前者成本高、排期长后者对操作者的音乐编辑能力要求又很高。在筹备“AI优香小桃”这套双角色企划时我面临的问题就是需要两条风格鲜明、能稳定复用、还能独立演唱同一首歌的AI声线。为了把《I.D.E.A.~僕は毎日,夢を見る~》这种带着旋律起伏和情绪表达的歌曲完整合成出来我走通了一条AI歌声合成链路声音素材采集、自动切片、特征提取、模型训练、歌曲推理、多轨混音。这篇文章就把整套流程整理成可复用的实操教程。适合想入门AI歌声合成的新手、想搭建虚拟歌手项目的开发者以及单纯对“AI怎么唱歌”感兴趣的读者。读完你不仅能跑通一条完整链路还能避开我在实际项目中踩过的几个大坑。1. 项目背景从双人虚拟偶像企划说起1.1 AI虚拟偶像为什么需要歌声合成虚拟偶像的核心不只是“形象”更是“声音”。一个角色的声音稳定度、辨识度、情感表现力几乎决定了这个角色能不能长期运营。过去常见的方式是找配音演员或歌手录制大量素材再把素材切成音素通过拼接软件播放。这种方式有两个明显问题一是录制成本高二是遇到新歌、新旋律时拼接感会很明显。AI歌声合成要解决的就是“低成本的稳定声线生成”问题。它可以把一段任意旋律的人声干声转换成目标角色音色也可以直接根据乐谱和歌词合成演唱。放到双人企划里这就意味着优香和小桃可以共用一首歌的伴奏和乐谱但各自生成一条独立的声线输出后期在混音台上一轨一轨叠加。1.2 为什么不直接用文本转语音刚开始接触这个方向的人往往会想到TTSText to Speech文本转语音。TTS确实能朗读文本但“朗读”和“演唱”是两回事。唱歌需要处理音高、时长、气息、颤音、装饰音等音乐属性普通TTS模型并不擅长控制这些参数。你很难让TTS按乐谱唱出一个升半音的长音更别提让它模拟“渐强后突然收住”这种情绪化处理。所以AI歌声合成的技术思路是独立的。它要么走“歌声转换”路线把真人演唱的声音转换成目标音色要么走“歌声合成”路线用乐谱、歌词和音高曲线直接生成演唱。两者各有优缺点本文后续会细讲。1.3 本文示例项目的技术目标“AI优香小桃”是一个双角色企划技术目标是让两个角色分别拥有稳定的音色辨识度可自由变调、变速的演唱能力支持连续导入多首歌曲的批量推理能力能融入合唱产生和声效果。整篇文章围绕这些目标展开以《I.D.E.A.~僕は毎日,夢を見る~》作为合成测试歌曲。这个标题直译是“I.D.E.A. ~我每天都在做梦~”音乐风格偏流行抒情旋律跨度较大用来检验模型的音准和稳定性比较合适。2. 核心概念歌声转换与歌声合成的区别2.1 先理解声音的几个基础概念在进入实操前先建立几个基础概念后面遇到代码和参数不会慌。采样率音频每秒钟采集的样本数单位是Hz。常见值有44100Hz和48000HzAI歌声合成训练里一般统一到44100Hz或48000Hz。单声道与立体声单声道只有一条声轨立体声有左右两条。训练数据通常压缩成单声道方便模型集中学习音色特征。F0基频声音的基频决定了听感上的“音高”。唱歌时旋律的变化本质上就是F0的变化。梅尔频谱一种音频特征表示。它把声音信号转换成随时间变化的二维图像横轴是时间纵轴是频率颜色深浅代表能量大小。深度学习模型大多基于这种“频谱图”来学习声音特征。2.2 歌声转换SVC把人声变成目标音色SVC全称Singing Voice Conversion歌声转换。它的输入是一段已经有人声演唱的音频输出是同一段旋律、同一段歌词但音色变成目标角色的版本。整个过程相当于“用别人的演唱技巧换一张声线外皮”。SVC最大的优势是不需要逐字逐句编辑乐谱。你只需要找到一首唱得不错的干声跑一遍模型就能得到角色声线。缺点是输出效果受输入干声影响较大。如果原唱跑调、咬字不清、气息不稳转换结果也会把这些瑕疵继承下来。2.3 歌声合成SVS从乐谱直接生成演唱SVS全称Singing Voice Synthesis歌声合成。它的输入是乐谱、歌词、节奏、音高曲线等结构化信息输出是歌声。也就是说你需要把歌曲的每个音符、每个字的时长都标注好模型才能生成对应的演唱。SVS的优点是可控性强。你可以在乐谱数据里精确调整某个字的音高和时长比如把副歌第一句的“夢”字拉长半拍。缺点是数据准备成本高通常需要MIDI标注和歌词注音对齐。对于业余爱好者来说门槛比SVC高不少。2.4 两种路线如何选择做双人企划时我的选择是以SVC为快速落地路线先用现成干声转换角色声线后续如果某些段落需要精细控制再用SVS路线补充。SVC适合快速产出、批量试听SVS适合精品打磨、精细化调参。两种路线不是互斥关系而是可以组合使用。2.5 常见开源框架现状当前社区中使用较多的AI歌声转换/合成框架有RVC、So-VITS-SVC、DiffSinger等。RVC主打低资源、快速训练和高质量推断So-VITS-SVC在音质和情感表现上做了很多优化DiffSinger则更偏SVS方向需要更精细的数据标注。这些框架迭代速度较快具体安装方式和参数名会随版本变化本文后面给出的命令与步骤属于通用流程落地时请以你克隆的仓库官方README为准。3. 环境准备与版本说明3.1 运行环境建议AI歌声合成从数据预处理到模型训练对GPU有一定依赖。我的示例环境如下项目建议配置说明操作系统Windows 11 / Ubuntu 20.04两个系统均可完成流程GPUNVIDIA显卡显存≥4GB训练和推理都需要CUDAPython3.10许多框架已适配3.10音频工具ffmpeg必须安装并加入PATHDAWReaper / Audacity后期混音使用如果你的机器没有独立显卡纯CPU也能训练但速度会慢很多建议先用少量数据验证流程再决定是否租用GPU云服务器。3.2 Python环境搭建建议使用虚拟环境隔离依赖避免污染系统Python环境。创建一个新环境conda create -n ai-vocal python3.10 -y conda activate ai-vocal然后根据所选框架安装依赖。以常见的PyTorch为例先安装PyTorch再安装音频处理相关依赖pip install torch torchvision torchaudio pip install librosa soundfile numpy scipyPyTorch的安装命令在不同CUDA版本下不一样。具体CUDA版本需要先查看你的显卡驱动支持情况nvidia-smi然后去PyTorch官网选择对应命令。如果输出显示CUDA版本为12.1就选用匹配12.1的安装命令。3.3 安装ffmpegffmpeg是音频处理中绕不开的命令行工具负责格式转换、采样率调整、音轨抽取等操作。Windows用户建议下载安装包后手动加入PATHUbuntu用户可以直接使用sudo apt update sudo apt install ffmpeg安装完成后验证ffmpeg -version能看到版本信息就说明安装成功。4. 歌曲制作的完整链路AI歌声合成不是“把音频丢进去就出来结果”这么简单。一个可落地的双人企划歌曲制作链路通常包括素材准备、数据清洗、特征提取、模型训练、推理、后期混音六个环节。下面是整条链路的简化流程角色声音素材采集 ↓ 采样率统一 降噪 去静音 ↓ 自动切分为训练片段 ↓ 提取特征梅尔谱、F0等 ↓ 训练角色音色模型 ↓ 输入歌曲干声 / 乐谱 ↓ 推理生成角色演唱 ↓ 混音合成4.1 声音素材采集在训练模型之前收集“干净、多样、稳定”的声音素材是决定成败的关键。干净指底噪低、无混响、无伴奏多样指音高变化多、语速快慢都有、情绪跨度足够稳定指同一角色的录音设备和环境不要频繁变化。建议一个角色准备30分钟到1小时的干净人声素材。素材可以来自朗读、翻唱、配音练习等。需要特别提醒的是素材对应的声音必须已经获得授权尤其是使用真人歌手、声优的声音时必须获得明确许可。未经授权使用真实人物音色训练模型涉及肖像权和声音权益问题风险很高。4.2 音频预处理原始的录音往往是立体声、带混响、带底噪的。直接拿去训练模型会学到很多无用信息。建议先做统一采样率、转单声道、去静音、降噪四步。通用转换命令ffmpeg -i input.mp3 -ar 44100 -ac 1 -f wav output.wav这条命令的含义是把输入音频统一为44100Hz采样率、单声道、WAV格式。如果输入素材是WMA、M4A等格式也建议先转成WAV再进入预处理管线。降噪可以使用iZotope RX、Audacity自带的降噪插件或者UV等社区开源工具。降噪的目的是去掉电流声、环境底噪而不是把人声尾音也一并削掉。过度降噪会让声音干瘪训练出来的模型听起来很不自然。5. 实战训练角色声线模型5.1 准备项目目录建议创建统一的项目目录方便管理多个角色的数据和模型。ai-idol/ ├── datasets/ │ ├── youka_wavs/ # 优香原始素材 │ ├── momo_wavs/ # 小桃原始素材 │ ├── youka_sliced/ # 优香切片数据 │ └── momo_sliced/ # 小桃切片数据 ├── models/ # 训练产出的模型权重 ├── preprocess.py # 预处理脚本 └── song/ ├── instrumental.wav # 伴奏文件 └── guide_vocal.wav # 引导干声正式建模前先把目录建好两套角色数据独立存放不要混在一起。后续训练和排查问题会方便很多。5.2 数据切片工具模型训练一般不会把整段音频直接丢进去而是会把音频切成几秒钟的片段。切片长度建议控制在2到10秒之间。太短了数据语义不完整太长了训练时显存压力大且容易导致模型在长句上出现过拟合。下面是一段通用的预处理脚本它会自动完成音频加载、统一采样率、去静音、切分保存四步# preprocess.py import os import librosa import soundfile as sf from glob import glob SR 44100 MIN_LEN 2.0 # 最小切割长度 MAX_LEN 8.0 # 最大切割长度 def resample_and_mono(wav_path, target_srSR): 读取音频并统一为单声道、目标采样率。 audio, sr librosa.load(wav_path, srtarget_sr, monoTrue) return audio, sr def trim_silence(audio, sr, top_db30): 去除首尾静音。 trimmed, _ librosa.effects.trim(audio, top_dbtop_db) return trimmed def slice_audio(audio, sr, min_lenMIN_LEN, max_lenMAX_LEN): 将音频切成固定长度的片段最后不足最小长度直接丢弃。 min_samples int(sr * min_len) max_samples int(sr * max_len) pieces [] start 0 while start len(audio): end min(start max_samples, len(audio)) chunk audio[start:end] if len(chunk) min_samples: pieces.append(chunk) start end return pieces def process_role(src_dir, dst_dir, name): os.makedirs(dst_dir, exist_okTrue) wav_files glob(os.path.join(src_dir, *.wav)) total_pieces 0 for idx, wav_path in enumerate(wav_files): audio, sr resample_and_mono(wav_path) audio trim_silence(audio, sr) pieces slice_audio(audio, sr) for j, chunk in enumerate(pieces): out_path os.path.join(dst_dir, f{name}_{idx:03d}_{j:02d}.wav) sf.write(out_path, chunk, sr) total_pieces len(pieces) print(f[{name}] 处理完成共生成 {total_pieces} 个训练片段) if __name__ __main__: process_role(datasets/youka_wavs, datasets/youka_sliced, youka) process_role(datasets/momo_wavs, datasets/momo_sliced, momo)运行方式python preprocess.py执行完成后datasets/youka_sliced和datasets/momo_sliced目录下就会生成以角色名开头的切片文件。把这些切片数据分别放到所选开源框架要求的训练数据目录中即可进入下一步训练。5.3 模型训练注意事项进入模型训练阶段之前需要先选择框架并安装依赖。以使用RVC为例大致流程是克隆官方仓库、安装依赖、打开Web界面、创建训练集、启动训练。需要注意不同框架对训练数据的要求不太一样。有些框架要求所有音频必须是16kHz采样率有些要求48kHz甚至要求额外提供F0标注文件。无论使用什么框架请把预处理步骤和框架要求对齐。训练过程中的几个关键参数参数作用建议batch_size每次喂给模型的片段数量显存有限时调小epochs训练轮数先跑到100步验证效果learning_rate学习率保持框架默认值save_every每隔多少步保存模型建议开启方便回溯训练不是越久越好。实际项目中我遇到过训练到后期反而出现“音色偏机械”的情况因为模型在某些训练片段上过拟合了。正确做法是每隔一段时间保存一次权重然后用少量歌曲干声快速测试不同阶段的模型选择听感最自然的那一版。5.4 使用模型进行歌曲推理模型训练完成后会得到一个权重文件。推理阶段要做的事就是把歌曲的人声干声传进去让模型用角色声线重新演唱一遍。以使用Web界面框架为例推理通常需要选择三样东西模型权重文件输入的人声干声文件变调参数key。变调参数很重要。角色声线训练素材的原始音区和你输入的干声音区可能不同。如果原唱音区很高而目标角色音区偏中低推理时通常需要降低几个半音否则会出现气声过重或破音。具体数值没有标准答案只能试听调整。常见范围是降低3到7个半音。推理输出的是角色声线干声接下来进入混音环节。6. 双人歌曲的混音与后期处理6.1 双轨对轨以“I.D.E.A.~僕は毎日,夢を見る~”这首歌为例合成阶段会得到两条干声轨youka_out.wavmomo_out.wav。在DAW中把两条干声轨按时间轴对齐。如果只是主唱和和声的关系可以让小桃在副歌段落再进入形成层次感如果是对话式合唱则主歌段落两人交替演唱。对轨建议以伴奏的节拍网格为基准放大波形对齐到音符起音点。6.2 EQ与混响AI歌声合成出来的干声通常在频段上偏“平”也就是声音过于均匀缺乏真实演唱的空间感。混音时可以做两件简单但有效的事情第一EQ处理。优香声线如果偏亮可以适当衰减4kHz附近的刺耳频段增加一点低频温暖感。小桃声线如果偏薄可以在200Hz左右做少量增益让声音更扎实。第二混响。人声不加混响会显得很干加太多又会浑浊。建议选择板式或大厅混响发送量控制在20%到30%左右让声音听起来像在一个真实空间里演唱同时保持咬字清晰。6.3 导出与试听混音完成后导出为WAV或320kbps MP3。第一次导出后建议用耳机和手机外放分别试听一遍。耳机能听出细节问题手机外放能听出整体平衡度。这一步不能省因为AI声线在便宜扬声器上往往更容易暴露出“塑料感”。如果试听发现某个字的音准不对可以回到推理阶段只重推那一段再在DAW里手动替换对应波形。这种局部重推工作流在SVC链路里非常实用能避免整首歌重新合成带来的不一致。7. 常见问题与排查思路7.1 常见报错与解决方案问题现象常见原因解决思路训练时显存不足batch_size设置过大调小batch_size或降低音频分辨率推理结果有严重噪点训练数据底噪大重新降噪、清理数据集声音像机器人数据和目标角色音区差异大调整变调参数或补充对应音区素材训练几百步后loss不下降数据量过少或学习率不合适增加数据量或者恢复默认学习率切换歌曲后角色声线不稳推理输入干声质量差重新录制干声或清理伴奏7.2 数据集不够怎么办很多人一开始只有几分钟的声音素材训练出来的模型能听但不够稳定。解决思路是“先少食多餐”先用短期数据快速跑通流程确认每个环节没问题再慢慢补充素材。一次只增加10到20分钟素材重新训练观察改进幅度。这样能判断数据集质量提升是否有效避免一次投入大量素材却因为标注错误全部报错。7.3 推理时人声与伴奏错位推理出来的干声和伴奏不对位通常是输入干声本身节奏不稳导致的。解决方法是先在DAW里把用于推理的干声对齐到伴奏网格上再进行推理推理出来的结果再按同一网格检查一遍。SVC会保留原唱节奏所以只要输入干声是准的输出干声就不会歪。8. 最佳实践与工程建议8.1 版权与授权优先AI歌声合成最大的风险不是技术而是合规。无论是使用真人歌手的声音进行克隆还是使用商业歌曲做模型训练和发布都必须先确认授权边界。本文项目使用的声音素材均为原创或已获得明确授权使用歌曲《I.D.E.A.~僕は毎日,夢を見る~》作为示例也符合内部测试要求。你发起一个AI虚拟偶像企划之前建议先签署一份书面授权协议明确声音素材的使用范围、训练内容的传播边界、商业化规则。不要在授权不明的情况下任意传播生成结果。8.2 数据资产规范管理一个完整的训练项目会积累大量素材包括原始录音、清洗后音频、切片数据、训练权重、推理音频。建议在项目根目录维护一份CHANGELOG.md和一份DATA_LICENSE.md记录每批数据的时间、来源、授权状态、预处理操作。这样做有三个好处第一训练效果回退时能快速定位是哪一批数据导致第二未来发布模型或歌曲时能直接回溯授权链第三多个角色并行开发时避免不同角色的数据互相污染。8.3 模型版本管理迭代训练会导致模型文件频繁变化。给每个模型文件命名时建议包含角色名、批次号、训练步数三个信息。命名示例youka_hifive_12000.pth momo_rvc_v3_15000.pth同时保留训练日志记录当前模型的参数配置、数据集大小、loss曲线。下次需要复现某个效果时不需要重新猜参数。8.4 建立试听评审流程不要只凭一次试听判断模型效果。建议建立简单的评审清单高音区是否破音中音区是否自然咬字清晰度换气声是否合理歌曲整体混音是否平衡角色声线辨识度是否足够。每个角色准备2到3首测试歌曲分别在训练不同阶段用同一批歌曲推理排成对比试听。这个方法能很直观地判断训练是否在正常推进。8.5 注意训练与推理的硬件一致性如果你的训练机器和推理机器不是同一台要注意PyTorch版本和CUDA版本的一致性。不同版本产出的模型在跨机器推理时偶发出现权重不兼容问题。建议在项目里固定一份requirements.txt并记录GPU驱动版本。批量推理时尽量在同一套环境下完成。9. 总结与下一步学习方向这篇文章以“AI优香小桃”双人角色企划为例完整梳理了一套AI歌声合成落地方案。从声音基础概念、环境准备到数据切片、模型训练、歌曲推理与混音合成再到常见问题排查和合规建议你可以把这套流程直接迁移到自己想做的角色企划中。下一步可以继续学习的方向有三块一是模型效果调优。比如音频对比学习中如何选择更好的预训练模型、如何用更细的F0标注提升高音稳定性。二是从SVC走向SVS。学习DiffSinger这类歌声合成工具理解乐谱、歌词注音、音高曲线如何共同影响最终演唱。三是工程化部署。把训练好的模型封装成服务接入音频处理流水线或虚拟主播直播系统实现在线点歌、实时变声。技术方案永远在演进但数据准备、训练验证、版权合规这几个底层问题不会过时。你现在拿着这套基础流程跑通第一个角色声线后续的优化都建立在真实数据之上。