end-to-end memory networks

from 記憶ネットワーク end-to-end memory networks Sukhbaatar, S., Weston, J., & Fergus, R. (2015). End-to-end memory networks. In Advances in neural information processing systems (pp. 2440-2448). 入力文$x_i$は各単語の埋め込み表現の総和で埋め込まれる $m_i={\sum }_{j}A{x}_{ij}$ 質問文qも同様に埋め込まれる $u={\sum }_{j}B{q}_j$ N個の各記憶情報のuに対する重要度pは内積のソフトマックス $p_i=\mathrm{softmax}(u\cdot m_i)$ $o=p\cdot {\sum }_{j}C{x}_{ij}$ 要するにソフト注意機構 $\hat{a}=\mathrm{softmax}(W(o+u))$ 色々そんな設計でいいのか？と疑問に思うところはあるが、end-to-endで最適化するために、全体を微分可能にしなければならないという制約が厳しいのである。