- Facebook
- 昨日作った「距離が近いものをリンク」って仕組み: リンク作成支援
- 過去の記憶との間の距離を計算するところまでは、主観と感情で書いた好奇心モジュールと同じ。
- 「好奇心モジュール」は現時点では独立したページになっていないが、いずれなるべき
- 今は単純なユークリッド距離だが、コサイン類似度を使う場合は内積注意と同じ形になる
- すると、次元削減注意で書いたようにDropoutを入れることで遠い連想ができる
- ベクトルがイコールであるものを除外したのはこれに関連してそう
- 思考の結節点20191021を振り返ってみる
- 新しいインプットからもっとも近い過去の記憶をピックアップしてそこにリンクを張るのは、ピックアップするところが「連想」であり、それをストックしている
- どうなると好ましいかを記述できれば、方策は獲得できる可能性がある
- まだできてないこと
- 入力Xに対して、もっとも近い記憶Yを見つけることはできているが、僕自身を観察すると僕は「両方を読んで、その刺激で新しいアウトプットをする」をしている、このプロセスはどうすれば実現できるのか
- (11/4)
- 連想の指し示し は原始的な形のアウトプット
- コンテンツを、元々与えられたのとは違う配列で組み合わせた場合、それに対応するベクトルも当然異なったものになる。
- この新たなベクトルからもっとも近いコンテンツを選んで指し示す行為は「コンテンツの新たな組み合わせを入力としてアウトプットをする行為」だ
- 768次元のDropoutの仕方は2^768通りあるので、現実的に全探索が不可能。XとYがあるDropoutの下で連想されて、その繋がりが有益である場合に、それは「そのDropoutの方法が有益な抽象化である」という示唆をする。
- 2つの点の接続「XとYの接続」というデータが、一つ上のレイヤーの別のデータ点なので、それもストックされるべきなのだな