注意機構を用いた要約生成

注意機構を用いた要約生成 #要約 深層学習による自然言語処理 p.136 A Neural Attention Model for Abstractive Sentence Summarization

注意機構 RNNではなく、固定長Cの順伝播ネットワークを使った

• 後の研究でRNNの方が精度が良いとされてるのでこれは最初に生まれた時はそうだったという歴史的な話に過ぎない 文脈長Cを用いて $Y_{<}=Y_{[j-C,j-1]}$とする 入力文Xに対して要約文出力Yがでる条件付き確率はこう書ける。 $P(Y|X)={\prod }_{j}P(y_i|X,Y_{<})$ $P(y_i|X,Y_{<})=\mathrm{softmax}(\widetilde{o_j})\cdot y_j$ $\widetilde{o_j}=\mathrm{nnlm}(Y_{<})+\mathrm{enc}(X,Y_{<})$