LTX-2 是一款基于 DiTDiffusion Transformer架构的‌音视频一体化生成模型‌由 Lightricks 开发并开源其最大特点是能够通过单一模型同步生成视频与音频内容适用于文本到视频、图像到视频、音频到视频等多种模态输入场景。该模型已集成至 ‌Hugging Face 的 Diffusers Python 库‌中开发者可通过标准接口快速调用和部署。✅ Diffusers 库简介diffusers是 Hugging Face 提供的一个开源库专注于‌扩散模型Diffusion Models的训练、推理与部署‌支持图像、音频、视频等多种生成任务。它提供模块化设计允许用户灵活构建生成流程尤其适合像 LTX-2 这类复杂多模态模型的集成。与其他图形化工具如 ComfyUI、WebUI不同diffusers是底层代码库更适合程序化控制、自动化流水线和本地化部署。 如何使用 Diffusers 运行 LTX-21. ‌环境准备‌确保系统满足以下条件Python ≥ 3.12PyTorch ≥ 2.7CUDA ≥ 12.7安装必要依赖包pip install diffusers einops transformers huggingface_hub accelerate其中diffusers核心生成框架einops优化张量操作huggingface_hub连接模型仓库transformers处理文本编码2. ‌加载 LTX-2 模型‌由于 LTX-2 已集成至 Diffusers可直接通过from_pretrained加载from diffusers import LTX2Pipeline import torch # 加载模型需登录 Hugging Face 获取权限 pipe LTX2Pipeline.from_pretrained( Lightricks/LTX-2, torch_dtypetorch.float16, # 推荐使用半精度节省显存 variantfp16 ).to(cuda)⚠️ 注意首次运行需登录 Hugging Face 账户并接受模型使用协议。3. ‌生成音视频内容‌支持多种输入方式以下为常见示例▶ 文本到音视频Text-to-Video Audioprompt 海浪拍打礁石的慢动作视频伴有海鸥叫声 video_frames pipe(prompt).frames # 输出为帧序列▶ 图像到视频Image-to-Videofrom PIL import Image image Image.open(input.jpg) video_frames pipe(imageimage, prompt让这张图动起来).frames▶ 音频到视频Audio-to-Videovideo_frames pipe(audioinput.wav, prompt根据音频节奏生成视觉动画).frames⚙️ 关键参数与限制表格参数要求说明分辨率宽高必须能被 32 整除如 512×512、768×448帧数必须为8n 1形式如 9、17、25 帧输入预处理若不满足条件需用 -1 填充后裁剪模型内部自动处理示例若目标为 8 帧视频应生成 9 帧后手动裁剪。 高级功能与优化✅ 模型变体选择LTX-2 提供多个版本以适应不同硬件环境ltx-2-19b-distilled蒸馏版仅需 8 步采样速度快ltx-2-19b-distilled-lora-384LoRA 微调版本可迁移风格ltx-2-spatial-upscaler-x2-1.0空间上采样器提升分辨率✅ 低显存运行策略对于显存有限设备如 8GB GPU可采用以下优化使用 FP8 或 GGUF 量化版本启用低 VRAM 加载节点动态卸载不活跃模型模块✅ 本地离线运行为避免频繁联网验证可在本地运行时禁用网络访问bashCopy Codeexport HF_HUB_OFFLINETrue 实际应用场景LTX-2 适合以下创作场景‌短视频内容生成‌自动为图文内容配动态视频与背景音‌广告创意辅助‌快速生成产品宣传片段‌教育动画制作‌将静态课件转化为动态讲解视频‌艺术实验项目‌探索音画同步的生成美学要不要我‌生成一个基于Diffusers运行LTX-2的完整Python脚本模板‌帮你快速上手音视频生成