RNNなしCNNなしで注意機構だけ構成されたTransformerが翻訳タスクで良い成績を出すという報告。
We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely.
- Attention Is All You Need 06
- 2017年
- https://arxiv.org/pdf/1706.03762.pdf
解説 2017-12 http://deeplearning.hatenablog.com/entry/transformer
- 注意機構
- 注意機構は辞書オブジェクト
- 加法注意と内積注意
- ソースターゲット注意と自己注意
- 縮小付き内積注意 (Scaled Dot-Product Attention)