前半
今やってること
- ステップ5が終わって8枚の紙ができ、それの頭の2枚のエンコードが終わったところ
- 付箋は27枚、スライドは42枚
ステップ6に関連していること
ステップ6では一度に1つのシートに注目する
- これによって、全体の構成を考えていた時よりも視野が狭くなる。
- 視野が狭い代わりにより深く考えることができるようになる
- 人間の脳のキャパシティに限界があるので広さと深さがトレードオフになる
直近のスライドを入力とした、次のスライドの連想
- これをどうやって実現するか考える
- これって「スライド」→「単語」と写像すると、直前N件の単語から次の単語を選んで文章(単語列)を生成する、マルコフモデルによる文章生成になるのでは #マルコフ文章生成
- 素朴なマルコフ文章生成だと次の単語の生成確率を元データでの出現頻度で出す
- Nが大きくなるとほとんどの単語列が観測回数0回になってしまう
- Nが小さいと、近い単語間の関係しか保存できない
- LSTMによる系列変換モデルがそこんところをフォローした
- 次元削減注意
- 当初、ランダムにDropoutすると考えていた
- このタイプだとtとt+1を元に「無視するベクトル」が生まれると考えるのが適当か
- この仕組みだとkeyに対してマスクすることしかできない
- (t - (t-1))ベクトルが(1, 0, 0, …, 0)になるような回転をqueryとkeyに掛けることができて、そのあと(0, 1, 1, …, 1)のマスクをかければ特定方向1次元の削減ができるのでは
- 1次元だけでいいのか？
- 軸方向の削減しか許さないこの仕組みの方が、軸に意味が生まれやすくて良いのでは
- LSTMの後段に次元削減注意をつけたらいい気がした
1枚の付箋が過去の複数スライドに対応
- 人間が記憶の中から過去のスライドを全部引っ張り出して付箋にできない
- 必然的にキーワードXだけ書かれた付箋が作られる
- これは暗黙的に「過去のスライド」をグループ編成して、表題Xがついているのと同じ状態
- 1つのスライドは複数の付箋を含みうるし、1つの付箋は複数のスライドを指し示しうる
