人工智能大模型数据工程数据清洗数据增强数据质检【免费下载链接】data-juicerData processing for and with foundation models! ➡️ ➡️ 项目地址https://gitcode.com/gh_mirrors/da/data-juicer点击查看免费下载本文围绕 Data-Juicer 中的image_diffusion_mapper算子展开讲解如何利用 Hugging Face 扩散模型以 Stable Diffusion 为例基于已有图像与文本描述生成新的增强图像覆盖算子核心工作流程、全部可配置参数、caption 自动生成机制、输出文件路径规则以及测试验证方法。读完本文你将能够在 Data-Juicer 的配置文件中独立编排图像扩散增强流程并理解其底层调用链与批量处理的样本扩展逻辑。算子概览做什么、属于什么类型image_diffusion_mapper是一个mapper 类型的多模态数据增强算子注册名为image_diffusion_mapper定义于 data_juicer/ops/mapper/image_diffusion_mapper.pyOP_NAME image_diffusion_mapper。其核心功能是使用 Hugging Face 上的图生图image-to-image扩散模型根据文本描述对输入图像进行变换生成一张或多张新图像若样本中没有现成的 caption可自动调用 Hugging Face图像到序列image-to-sequence模型默认 BLIP-2为每张图像生成描述再据此引导扩散生成支持随机选择、基于相似性选择、保留全部等多种生成样本保留策略由内部调用的image_captioning_mapper提供支持保留或丢弃原始样本支持为每个样本批量生成指定数量aug_num的增强图像。从算子元数据看它带有gpu、hf、multimodal三个标签声明了_accelerator cuda默认使用 GPU 推理、依赖 Hugging Face 模型生态、处理的是图像与文本组成的多模态样本。同时它声明_batched_op True即一个批量算子一次处理一批样本并为每个样本产出多份增强结果。源码中通过OPERATORS.register_module(OP_NAME)和LOADED_IMAGES.register_module(OP_NAME)完成注册使其既可作为独立算子执行也可接入 Data-Juicer 的图像加载融合机制LOADED_IMAGES见 data_juicer/ops/op_fusion.py 中的图像缓存复用。核心工作流程与底层调用链结合源码 image_diffusion_mapper.py 的实现算子在初始化时依次完成以下准备工作内存声明构造时kwargs[memory] 8GB if kwargs.get(memory, 0) 0 else kwargs[memory]。即默认声明需要 8GB 内存用于 Data-Juicer 的自动并行度计算runtime_np会基于memory与num_cpus估算可并行进程数见 data_juicer/ops/base_op.py。caption 生成器装配当caption_key为空时会实例化ImageCaptioningMapperhf_img2seqhf_img2seq, keep_original_sampleFalse, promptself.prompt其中self.prompt A photo of a 作为 BLIP-2 的引导 prompt。该内部算子的实现位于 data_juicer/ops/mapper/image_captioning_mapper.py支持random_any、similar_one_simhash、all三种候选 caption 保留策略。扩散模型注册调用prepare_model(model_typediffusion, pretrained_model_name_or_pathhf_diffusion, diffusion_typeimage2image, torch_dtype..., revision..., trust_remote_code...)注册模型。prepare_model通过MODEL_FUNCTION_MAPPING分发到prepare_diffusion_model返回一个偏函数作为模型键见 data_juicer/utils/model_utils.py推理时再由get_model(model_key, rank, use_cuda...)按 GPU rank 惰性加载到cuda:{rank}设备见 data_juicer/utils/model_utils.py。**推理过程_real_guidance**是理解该算子的关键其流程为将参考图像缩放到512x512image.resize((512, 512), Image.BILINEAR)作为扩散的起始画布调用扩散模型diffusion_model(**dict(imagecanvas, prompt[prompt], strengthself.strength, guidance_scaleself.guidance_scale))NSFW 安全重试只要diffusion_model.safety_checker is not None且outputs.nsfw_content_detected[0]为 True就循环重新生成直到产出通过安全检查的结果再缩回原图尺寸返回。**批量处理process_batched**将输入从字段列表的字典重构为样本字典列表对每个样本调用_process_single_samplekeep_original_sampleTrue时原样本保留在结果中随后追加aug_num份生成样本最终再重构回字典列表结构返回。若某批次全部样本都被跳过例如没有任何图像会返回保持原 schema 的空列表确保下游算子不会因结构不一致而报错。参数配置详解下表完整列出该算子支持的参数与算子文档一致并结合源码补充取值范围与底层影响参数名类型默认值说明hf_diffusionstrCompVis/stable-diffusion-v1-4Hugging Face 上用于生成图像的扩散模型名称任意兼容 diffusers image2image 的模型均可使用trust_remote_codeboolFalse是否信任 HF 模型的远程代码torch_dtypestrfp32加载扩散模型时的浮点类型可取[fp32, fp16, bf16]fp16可显著降低显存占用revisionstrmain使用的模型版本可以是分支名、tag、commit id 等 Git 允许的标识例如搭配fp16时可指定fp16分支strengthfloat0.8参考图像的变换程度取值区间[0, 1]源码用Field(ge0, le1)校验。图像作为起始点strength 越大加入噪声越多、去噪步数越多等于 1 时噪声最大、去噪跑满num_inference_steps实际上等于忽略原图、按文本从噪声生成guidance_scalefloat7.5引导尺度。越大图像越贴合文本提示但会牺牲图像质量与多样性guidance_scale 1时引导生效aug_numint1每个样本由扩散模型产出的图像数量源码用PositiveInt保证大于 0keep_original_sampleboolTrue是否保留原始样本设为False时最终数据集只保留生成样本原始图像被移除caption_keyOptional[str]None样本中存放每张图像 caption 的字段名。样本内只有一张图像时传字符串多张图像时传列表。为None时由ImageDiffusionMapper自动为每张图像生成 captionhf_img2seqstrSalesforce/blip2-opt-2.7b当caption_key为None时用于生成 caption 的 Hugging Face 图像到序列模型save_dirstrNone生成图像文件的保存目录不指定时保存在与输入文件相同的目录详见下文路径规则也可通过环境变量DJ_PRODUCED_DATA_DIR定义args/kwargs-透传给父类Mapper的扩展参数例如num_proc、memory等通用算子参数对应地data_juicer/config/config_all.yaml 中提供了可直接参考的配置模板- image_diffusion_mapper: # generate images by diffusion model hf_diffusion: CompVis/stable-diffusion-v1-4 # stable diffusion model name on huggingface to generate image torch_dtype: fp32 # the floating point type used to load the diffusion model. Can be one of [fp32, fp16, bf16] revision: main # The specific model version to use. It can be a branch name, a tag name, a commit id, or any identifier allowed by Git. strength: 0.8 # parameter of stable diffusion model, indicates extent to transform the reference image. will ignore the input image if it equals to 1 guidance_scale: 7.5 # parameter of stable diffusion model, a higher guidance scale value encourages the model to generate images closely linked to the text prompt at the expense of lower image quality aug_num: 1 # the number of images to generate keep_original_sample: true # whether to keep the original sample. If its set to False, there will be only generated images in the final datasets and the original images will be removed. Its True in default. caption_key: null # the key name of fields in samples to store captions for each images, the caption guide the diffusion model to produce what the image is hf_img2seq: Salesforce/blip2-opt-2.7b # model name on huggingface to generate caption if caption_key is null save_dir: null # The directory where generated files will be stored. If not specified, outputs will be saved in the same directory as their corresponding input files. This path can alternatively be defined by setting the DJ_PRODUCED_DATA_DIR environment variable. memory: 8GB # This operation (Op) utilizes deep neural network models that consume a significant amount of memory for computation, hence the systems available memory might constrain the maximum number of processes that can be launchedcaption 的三种来源形态与空值兜底caption 引导着扩散模型画什么其取值逻辑在_process_single_sample中体现共有三种形态字符串形式caption_key指向的字段是单个字符串且样本只有一张图像时captions [captions] * num_images即一条 caption 应用于该样本的所有图像列表形式caption_key指向的字段是字符串列表必须与图像数量严格一致否则触发断言The num of captions must match the num of images.源码中刻意响亮地失败避免列表错位导致 caption 与图像配对错误缺失/为空caption_key为None或字段缺失时算子构造{text_key: [SpecialTokens.image] * len(images), image_key: [[k] for k in loaded_image_keys]}交给内部ImageCaptioningMapper生成 caption再统一加上前缀 promptA photo of a 后作为扩散提示。空 caption 的回归保障测试类ImageDiffusionMapperEmptyCaptionTest见 tests/ops/mapper/test_image_diffusion_mapper.py专门验证了空 prompt 是合法输入这一设计缺失 caption 键、None值、空字符串、空白字符串、空列表、列表内含None占位符等情形都会被规范化为空 prompt 正常生成而不是静默丢弃样本但部分填充的 caption 列表如两张图只给一条 caption仍会抛出AssertionError。同时测试确认 caption 与图像键列表对齐而非与去重后的图像字典对齐重复图像路径也不会破坏对齐关系。当样本完全没有图像时该样本被跳过且批次 schema 保持完整。批量样本扩展aug_num 与 keep_original_sample 的乘积效应process_batched的文档注释给出了清晰的数学关系设输入样本数为N、批量大小为b、增强数为aug_num M则keep_original_sampleTrue时生成后总样本数为(1 M) * N * b每个原样本 M 份生成样本keep_original_sampleFalse时总样本数为M * N * b仅保留生成样本。每份生成样本都是原样本的deepcopy其image_key被替换为新的生成图像键列表若样本带图像字节字段image_bytes_key对应索引处的字节也会被更新为新图像images[diffusion_image_key].tobytes()。多份增强副本之间相互独立可视为对同一输入做了 M 次同一 prompt 下的不同扩散采样。输出文件路径规则生成图像的落盘路径由transfer_filename决定实现见 data_juicer/utils/file_utils.py优先级为save_dir 环境变量DJ_PRODUCED_DATA_DIR 原数据目录。文件名形如abc__dj_hash_#{hash_val}#.jpghash 由算子参数、caption、进程 PID 与 UTC 时间戳共同计算dict_to_hash保证同一输入重复运行不会互相覆盖也避免多进程并发写冲突。三种情形举例指定save_dir/save/dir/path/to/abc.jpg→/save/dir/abc__dj_hash_#... #.jpg仅设置DJ_PRODUCED_DATA_DIR/env/dir/path/to/abc.jpg→/env/dir/image_diffusion_mapper/abc__dj_hash_#...#.jpg两者皆无在输入文件同目录下创建__dj__produced_data__/image_diffusion_mapper/子目录存放即abc.jpg→abc所在目录/__dj__produced_data__/image_diffusion_mapper/abc__dj_hash_#...#.jpg。若输入文件不存在如远程路径/URLtransfer_filename直接返回原值不落盘。源码中还有一处缓存优化只有当目标文件不存在或不在已加载图像缓存中时才真正执行扩散推理并写盘if diffusion_image_key ! value: if not os.path.exists(diffusion_image_key) or diffusion_image_key not in images配合LOADED_IMAGES融合机制避免重复生成。测试用例与可验证的行为边界单元测试文件 tests/ops/mapper/test_image_diffusion_mapper.py 覆盖了以下关键场景可作为理解算子行为边界的依据test_for_strengthstrength1.0时几乎完全忽略原图从文本提示出发生成test_for_given_caption_list/test_for_given_caption_stringcaption 分别为列表每图一条与字符串共享两种形态且keep_original_sampleFalse时验证总样本数恰为aug_num * len(ds_list)test_for_no_given_caption不提供 caption由 BLIP-2hf_img2seqSalesforce/blip2-opt-2.7b自动生成test_for_fp16_given_caption_stringtorch_dtypefp16搭配revisionfp16的轻量化加载路径test_for_multi_process_given_caption_string多进程推理进程数不超过 CUDA 设备数cuda_device_count()为 1 时自动降为单进程空 caption 系列回归测试如前述缺失/空值兜底、占位符对齐、无图像样本返回空批次等。这些测试同时印证算子在 Data-Juicer 中通过dataset.map(op.process, num_proc..., with_rankTrue)接入数据流水线见 data_juicer/core/data/dj_dataset.py 的 map 机制with_rankTrue与use_cuda()配合使多进程下各 worker 使用不同的 GPU rank。使用建议与注意事项显存与精度默认fp32显存开销较大显存受限时可改用fp16并同时指定对应的revision如fp16分支bf16也是可选类型。生成质量调控strength控制与原图的偏离程度增强/微调偏向guidance_scale控制与文本的贴合程度保真/多样性偏向两者应配合实际任务微调而非盲目沿用默认值。caption 对齐多图样本务必保证 caption 列表长度与图像数一致想跳过某张图的无文本引导请显式用None或空串占位不要删减列表元素。输出隔离建议显式设置save_dir或DJ_PRODUCED_DATA_DIR便于统一管理生成产物并避免污染原始数据目录。算子在流水线中的位置与其他 mapper 一样在 config_all.yaml 或自定义配置文件的process阶段按序声明即可执行算子文档中 返回算子列表 可查看其在全部算子中的归类与相邻同类算子如image_captioning_mapper、image_blur_mapper、image_face_blur_mapper等的编排参考。赞分享人工智能大模型数据工程数据清洗数据增强数据质检【免费下载链接】data-juicerData processing for and with foundation models! ➡️ ➡️ 项目地址https://gitcode.com/gh_mirrors/da/data-juicer点击查看免费下载相关推荐Anime.js 快速上手指南3 步装好这个 JavaScript 动画引擎Anime.js 快速上手指南3 步装好这个 JavaScript 动画引擎 Anime.js 是一个 JavaScript 动画引擎用一套 animate人工智能大模型数据工程数据清洗数据增强数据质检Data-Juicer 增量文档去重实战DocumentMinhashDeduplicatorWithUid 算子原理与配置详解Data Juicer 增量文档去重实战DocumentMinhashDeduplicatorWithUid 算子原理与配置详解 本文面向需要在大规模文本语料人工智能大模型数据工程数据清洗数据增强数据质检Data-Juicer 图像差异描述生成算子 imgdiff_difference_caption_generator_mapper 全解析原理、参数与实战配置Data Juicer 图像差异描述生成算子 imgdiff_difference_caption_generator_mapper 全解析原理、参数与实战配人工智能大模型数据工程数据清洗数据增强数据质检上一篇抖音下载器终极指南5分钟学会批量下载无水印视频和音乐下一篇抖音音频提取终极指南douyin-downloader免费工具完整教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考