基于生成对抗网络的图像风格迁移
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

TP391.4

基金项目:

国家自然科学基金(61877051,61170192);重庆市科委重点项目(cstc2017zdcy-zdyf0366);重庆市教委项目(113143);重庆市研究生教改重点项目(yjg182022)


Image style transfer based on generative adversarial network
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    生成对抗网络(Generative Adversarial Network,GAN)可以生成和真实图像较接近的生成图像.作为深度学习中较新的一种图像生成模型,GAN在图像风格迁移中发挥着重要作用.针对当前生成对抗网络模型中存在的生成图像质量较低、模型较难训练等问题,提出了新的风格迁移方法,有效改进了BicycleGAN模型实现图像风格迁移.为了解决GAN在训练中容易出现的退化现象,将残差模块引入GAN的生成器,并引入自注意力机制,获得更多的图像特征,提高生成器的生成质量.为了解决GAN在训练过程中的梯度爆炸现象,在判别器每一个卷积层后面加入谱归一化.为了解决训练不够稳定、生成图像质量低的现象,引入感知损失.在Facades和AerialPhoto&Map数据集上的实验结果表明,该方法的生成图像的PSNR值和SSIM值高于同类比较方法.

    Abstract:

    Generative Adversarial Network (GAN) can generate images that are close to real images, thus plays an important role in image style transfer.However, the GAN-based image transfer is perplexed by problems of low quality of generated images and difficult training of models, herein a new style transfer approach based on BicycleGAN model is proposed.First, the residual module is introduced into the generator of GAN to solve the degradation of GAN in training, and the self-attention mechanism is employed to obtain more image features thus improve the generation quality of the generator.To solve the gradient explosion in the training of GAN, the spectral normalization is added behind each convolution layer of the discriminator.Then the perceptual loss is introduced to address the unstable training and low generated image quality.The experiments on Facades and AerialPhoto&Map datasets show that the proposed approach outperforms other image style transfer methods in the PSNR and SSIM values of the generated images.

    参考文献
    相似文献
    引证文献
引用本文

刘航,李明,李莉,付登豪,徐昌莉.基于生成对抗网络的图像风格迁移[J].南京信息工程大学学报(自然科学版),2023,15(5):514-523
LIU Hang, LI Ming, LI Li, FU Denghao, XU Changli. Image style transfer based on generative adversarial network[J]. Journal of Nanjing University of Information Science & Technology, 2023,15(5):514-523

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2022-10-12
  • 最后修改日期:
  • 录用日期:
  • 在线发布日期: 2023-10-24
  • 出版日期:

地址:江苏省南京市宁六路219号    邮编:210044

联系电话:025-58731025    E-mail:nxdxb@nuist.edu.cn

南京信息工程大学学报 ® 2024 版权所有  技术支持:北京勤云科技发展有限公司