GAN：WGAN-GP-带有梯度惩罚的WGAN

Wasserstein GAN with Gradient Penalty (WGAN-GP) 是对原始 WGAN 的改进，通过梯度惩罚（Gradient Penalty）替代权重裁剪（Weight Clipping），解决了 WGAN 训练不稳定、权重裁剪导致梯度消失或爆炸的问题。

图像生成系列(GAN-Based)

GAN网络系列的第三篇，使用pytorch构建带梯度惩罚的Wasserstein GAN(WGAN-GP)网络模型

仅供自己参考

作者：郑华滨 链接：https://www.zhihu.com/question/52602529/answer/158727900 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 前段时间，Wasserstein GAN以其精巧的理论分析、简单至极的算法实现、出色的实验效果，在GAN研究圈内掀起了一阵热潮（对WGAN不熟悉的读者，可以参考我之前写

WGAN不足 为了限制D为the set of 1-Lipschitz functions ，WGAN采用clip the weights of the critic to lie within a compact space [−c, c]. 但这并未真正限制。 Difficulties with weight constraints 1.Capacity underuse the criti...

是一种强大的生成对抗网络变体，通过引入梯度惩罚项来代替传统的权重裁剪，使得训练过程更加稳定，生成效果更加优秀。WGAN-GP 在许多生成任务中取得了优异的性能，特别是在高质量图像生成领域。随着生成对抗网络的不断发展，WGAN-GP 已成为最常用的 GAN 变体之一，并广泛应用于计算机视觉、生成建模等领域。

WGAN-GP 前言 ​ 　　从GAN到WGAN，我们通过使用新的距离（推土机距离）来衡量PgP_gPg​和PrP_rPr​的到底有多接近，并且使用了权重裁剪来使得我们的生成器满足约束，但是作者也在论文中提到了这是一种暴力的手段，在现实的实验过程中，我们也发现Critic的权重会逐渐向裁剪因子靠拢，出现两极化的现象（如下图 c = 0.01），然而本身ccc的取值很难有一个界定，我们必须不断地调...

WGAN_GPGANWGANWGAN解决的问题：改进的地方：WGAN的问题：weight clipping为什么会有问题？weight clipping的另外一个问题WGAN-GP引入算法框架 GAN WGAN 之前总结的WGAN WGAN解决的问题： 彻底解决GAN训练不稳定的问题，不再需要小心平衡生成器和判别器的训练程度 基本解决了collapse mode的问题，确保了生成样本的多样性 训练过程中终于有一个像交叉熵、准确率这样的数值来指示训练的进程，这个数值越小代表GAN训练得越好，代表

源链接： http://www.twistedwg.com/2018/02/02/WGAN-GP.html WGAN是一篇好文章，但是在处理Lipschitz条件时直接把weight限制住也带来了一些问题，很快改进版的WGAN-GP便问世了，本文将带着大家一起看看 WGAN-GP的原理。 WGAN-GP是针对WGAN的存在的问题提出来的，WGAN在真实的实验过程中依旧存在着训练困难...

在实现了GAN之后，下面就来看一下WGAN-GP实战 看一下WGAN如何解决training不稳定的问题 wgan.py import torch from torch import nn, optim, autograd import numpy as np import visdom import random from matplotlib import pyplot as plt h_dim = 400 batchsz = 512 viz = visdom.Visdom() cl..

6. WGAN-GP 6.1 WGAN-GP原理        WGAN待解决的问题是，未能将D真的限制在1-Lipschitz function内。我们不妨观察一下1-Lipschitz function，会发现它其实等价于如下表达式：  &am

GAN网络的重点在于均衡生成器与判别器，若判别器太强，loss没有再下降，生成器学习不到东西，生成图像的质量便不会再有提升，反之也是。 WGAN 待更新。。。。。 WGAN中相较于此前GAN的改进主要在于以下四点： 判别器最后一层去掉sigmoid 生成器和判别器的loss不取log 每次更新判别器的参数之后把它们的绝对值截断到不超过一个固定常数c 不要用基于动量的优化算法（包括momentum...

WGAN-GP是针对WGAN的存在的问题提出来的，WGAN在真实的实验过程中依旧存在着训练困难、收敛速度慢的 问题，相比较传统GAN在实验上提升不是很明显。WGAN-GP在文章中指出了WGAN存在问题的原因，那就是WGAN在处理Lipschitz限制条件时直接采用了 weight clipping。相关讲解请参考 WGAN-GP的介绍 同往期一样，依然以生成cifar数据集中马的彩色图片为例，关于...

import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data import os import numpy as np from scipy import misc,ndimage # 读入本地的MNIST数据集，该函数为mnist专用 mnist = input_data.read_data_sets('MNIST_data') batch_size = 100 # 每张图片包含28*28个像素点