ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

Invertible-Image-Rescaling 三大扩展实战:IRN+ 对抗训练、黑白变彩色与图像压缩联合建模

Invertible-Image-Rescaling 三大扩展实战:IRN+ 对抗训练、黑白变彩色与图像压缩联合建模 Invertible-Image-Rescaling 三大扩展实战IRN 对抗训练、黑白变彩色与图像压缩联合建模【免费下载链接】Invertible-Image-Rescaling[ECCV 2020, IJCV 2022] Invertible Image Rescaling项目地址: https://gitcode.com/gh_mirrors/in/Invertible-Image-RescalingInvertible-Image-Rescaling 是 ECCV 2020 Oral 论文Invertible Image RescalingIRN的 PyTorch 官方实现一个可逆网络同时完成图像降采样前向与超分辨率重建反向x2 任务仅 1.66M 参数却在 Set5、Set14、DIV2K 等基准上全面超越 Bicubic、EDSR、CAR 等方法。IJCV 2022 扩展版进一步带来三大实战方向——IRN 对抗训练、黑白变彩色去色-上色与JPEG 压缩联合建模IRM-CRM本文带你快速上手。一张图看懂 IRN 可逆架构IRN 的核心思想前向网络把高清图 x 降采样为低清图并额外输出潜变量 z 承载丢失的高频信息反向网络把「低清图 z」拼接后恢复出高清图从而实现降采样与超分的同一网络双向运行基准数据集上的 PSNR / SSIM 定量对比IRN 加粗项全部第一扩展一IRN 对抗训练细节更锐利IRN 在原版 IRN 基础上引入VGG 特征损失 对抗训练专攻纹理细节生成器沿用预训练 IRN_x4 权重损失 前向拟合损失 反向重建损失 特征损失 GAN 损失判别器VGG-128 风格判别器discriminator_vgg_128支持gan与ragan两种对抗方式训练技巧D_update_ratio控制 G/D 更新节奏、D_init_iters让判别器先热身避免早期对抗震荡。相关源码与配置对抗训练模型codes/models/IRNp_model.py判别器结构codes/models/modules/discriminator_vgg_arch.py训练/测试配置codes/options/train/train_IRN_x4.yml、codes/options/test/test_IRN_x4.yml扩展二黑白变彩色IRN-Color 一键上色把可逆框架换个方向前向做去色decolorization把彩色图变为灰度图并输出潜变量 z反向做上色colorization由灰度图 z 重建彩色图。训练目标仍是前向拟合 反向重建因此整个上色过程同样由单个可逆网络完成模型实现codes/models/IRN_color_model.py训练/测试入口codes/train_IRN-Color.py、codes/test_IRN-Color.py配置文件codes/options/train/train_IRN_color.yml、codes/options/test/test_IRN_color.yml扩展三IRN-Compression压缩与超分联合建模真实场景里低清图往往还带着JPEG 压缩损伤。IRM-CRM 在 IRN 训练管线中内嵌 JPEG 编码/解码环节Apply_jpg模块模拟指定质量因子的压缩并训练一个 RDB 恢复网络 netR 修复压缩伪影再送入可逆网络重建高清图实现压缩 重缩放联合优化联合训练模型codes/models/IRN_model_CRM.pyJPEG 仿真与恢复模块codes/models/modules/Apply_jpg.py、codes/models/modules/RRDB.py训练/测试入口codes/train_IRN-Compression.py、codes/test_IRN-Compression.py配置示例q90 JPEG 质量 90codes/options/train/train_IRN-Compression_x2_q90.yml支持only_jpeg_reconstruction只训恢复网络与add_joint_loss后期加入联合重建损失两种训练模式非常灵活。快速上手环境配置与一键训练克隆仓库如需 clonegit clone https://gitcode.com/gh_mirrors/in/Invertible-Image-Rescaling.git环境依赖Python 3推荐 Anaconda PyTorch ≥ 1.0 NVIDIA GPU/CUDA另需安装pip install numpy opencv-python lmdb pyyaml训练数据可按 BasicSR 文档准备 DIV2K 等常用数据集。进入codes/目录后三大扩展的一键训练/测试命令如下详见 codes/README.md任务训练命令测试命令图像重缩放 IRNpython train.py -opt options/train/train_IRN_x4.ymlpython test.py -opt options/test/test_IRN_x4.yml黑白变彩色python train_IRN-Color.py -opt options/train/train_IRN_color.ymlpython test_IRN-Color.py -opt options/test/test_IRN_color.yml压缩联合建模python train_IRN-Compression.py -opt options/train/train_IRN-Compression_x2_q90.ymlpython test_IRN-Compression.py -opt options/test/test_IRN-Compression_x2_q90.yml多卡分布式训练可参考codes/run_scripts.sh中的torch.distributed.launch启动方式。小结Invertible-Image-Rescaling 用一个可逆网络打通了降采样、超分、上色与压缩修复四类任务IRNVGG 特征 对抗训练纹理更锐利IRN-Color去色-上色可逆建模黑白变彩色IRN-CompressionJPEG 压缩联合建模直接面向真实低质图像。代码框架遵循 Config / Data / Model / Network 四段式组织配置在codes/options/数据在codes/data/网络在codes/models/modules/上手成本低是研究可逆图像重建的优质起点。【免费下载链接】Invertible-Image-Rescaling[ECCV 2020, IJCV 2022] Invertible Image Rescaling项目地址: https://gitcode.com/gh_mirrors/in/Invertible-Image-Rescaling创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表