記憶ネットワーク

深層学習による自然言語処理 p.99 arXiv: Memory Networks 強教師あり記憶ネットワーク

記憶の追加: $m_N\leftarrow x$ 記憶の取り出し: $o_1={\mathrm{argmax}}_i{S}_O(x,m_i)$ $o_2={\mathrm{argmax}}_i{S}_O((x,m_{o_1},m_i)$

• この形では$o1\ne o2$が保証されないのでは？ $r={\mathrm{argmax}}_{w\in \mathcal{V}}{S}_R((x,m_{o_1},m_{o_2}),w)$

SO, SRはそれぞれ $s(x,y)=\Phi (X{)}^T{U}^{T}U\Phi (y)$ $\Phi$はD次元への埋め込み このSO, SRの学習に必要な教師データを用意できるかどうかが現実問題としてはシビア

そこでend-to-end memory network end-to-end memory networks