Feature Matching for Text Generation

Feature Matchingとは何か？

• Salimans+ 2016 Maximum Mean Discrepancyとは何か？

GANのGにLSTM、DとEにTextCNNを使う

• Eってなんだ？→Encoder

Soft-argmax approximation §

• argmaxは微分可能でないので扱いに難しさがあるが、これをsoftmaxに置き換えても良いのではないか、って提案。
• $W[\arg {\max }_i{x}_i]\approx W\mathrm{softmax}(L{x}_i)$
• ここでLは1000とかの大きなスカラーで、L→∞の極限ではargmaxに一致する。
• 計算の安定性は別途きにする必要がありそう。関連 logsumexp
• Soft-argmax

Adversarial Feature Matching for Text Generation | DL Hacks DL輪読会 Adversarial Feature Matching for Text Generation