引言在音频处理领域从复杂的声音混合中精准分离出目标声音如人声、乐器声、环境音效等一直是技术难点。传统方法往往针对特定场景定制通用性差、操作复杂。Meta团队推出的SAM-AudioSegment Anything Model for Audio打破了这一限制将“分割一切”的思路延伸到音频领域成为首个支持多模态提示的通用音频分割基础模型为音频处理带来了全新的解决方案。SAM-Audio音频分割的“全能手”SAM-Audio是Meta发布的音频分割基础模型核心能力是基于文本、视觉或时间跨度提示从任意音频混合中隔离出目标声音。该模型依托Perception-Encoder Audio-VisualPE-AV音视频感知编码器构建同时配套Judge评估模型用于量化分割效果。从功能来看SAM-Audio覆盖了多类音频分割场景无论是用“man speaking”这类文本描述指定目标还是通过视频帧掩码的视觉线索定位声音亦或是标注时间区间锁定声音片段都能精准完成分割。官方还提供了sam-audio-small/base/large三种尺寸模型以及针对视觉提示和目标正确性优化的-tv变体不同模型在语音、音乐、乐器等场景下均展现出优秀的主观评分。核心创新与优势1. 多模态提示体系适配多样化场景SAM-Audio首次实现了音频分割的多模态提示能力覆盖文本、视觉、时间跨度三类核心方式文本提示支持自然语言描述推荐小写名词/动词短语格式无需复杂特征工程视觉提示关联视频帧与掩码实现“看得到的声音”精准分离时间跨度提示通过标注时间区间锁定目标声音的出现时段。2. 自动化优化策略兼顾效果与灵活性自动跨度预测针对非环境音事件可基于文本描述自动预测目标声音的时间跨度无需手动标注候选重排序生成多个分割候选结果结合CLAP文本音频相似度、Judge分割质量评估、ImageBind视觉音频匹配模型筛选最优结果显著提升分割精度。3. 通用化基础模型适配多场景落地不同于传统音频分离模型的场景局限性SAM-Audio可处理语音、音乐、环境音效、乐器声等多类声音且提供不同尺寸模型兼顾性能与部署成本。技术原理与部署实践1. 环境准备SAM-Audio要求Python≥3.11推荐使用CUDA兼容GPU依赖安装仅需一行命令pipinstall.注意使用前需在Hugging Face申请模型权重访问权限通过hf auth login完成认证。2. 核心代码实现文本提示示例fromsam_audioimportSAMAudio,SAMAudioProcessorimporttorchaudioimporttorch# 加载模型与处理器modelSAMAudio.from_pretrained(facebook/sam-audio-large)processorSAMAudioProcessor.from_pretrained(facebook/sam-audio-large)modelmodel.eval().cuda()# 输入配置audio_file音频文件路径# 支持本地文件或torch张量descriptionman speaking# 目标声音描述# 预处理batchprocessor(audios[audio_file],descriptions[description],).to(cuda)# 音频分割可选开启跨度预测重排序withtorch.inference_mode():# 基础版无跨度预测# result model.separate(batch, predict_spansFalse, reranking_candidates1)# 优化版开启跨度预测8候选重排序resultmodel.separate(batch,predict_spansTrue,reranking_candidates8)# 保存结果sample_rateprocessor.audio_sampling_rate torchaudio.save(target.wav,result.target.cpu(),sample_rate)# 分离出的目标声音torchaudio.save(residual.wav,result.residual.cpu(),sample_rate)# 剩余背景声音3. 技术原理简析SAM-Audio的核心是基于PE-AV多模态编码器实现音频与文本/视觉信息的对齐通过提示词机制定位目标声音的特征表示再通过分割网络完成音频分离。自动跨度预测模块基于文本描述挖掘音频中的时间特征重排序机制则通过多模型评估筛选最优分割结果兼顾精度与召回率。4. 其他提示方式示例视觉提示processor(audios[video],descriptions[],masked_videosprocessor.mask_videos([frames],[mask]))时间跨度提示processor(audios[audio],descriptions[car honking],anchors[[[,6.3,7.0]]])该项目及相关内容已 AladdinEdu课题广场同步发布欢迎前往了解更多技术实现与资源。项目地址AladdinEdu课题广场