- 何か新しいものが生まれそうな気がするがまだ明確でない
- 機械も人間と同じように「将来の復習のためのまとめ」を出力しながら学んだ方が良いのではないか
- ページからページへのリンクの属性は、CBOWなら周辺語の分布ということになる
- リンク先の空ページは、その周辺語の分布の集合である
- 機械が自由にScrapboxに書き込みができるとしたら本を読んで何を書くのか
- 今ローカルのファイルシステムに吐いてあるものはページごとのテキストと、そのテキストの中のキーワード
- ページごとのテキストの丸ごとの引き写しは死んだ文章
- 原本はファイルシステムにあるから書かなくても良いとも言えるし、
- Scrapboxを知識の表現形式とするなら「死んだ文章が置かれることもあるよね」となる
- 丸覚えしない
- 書くことによって覚えない
- キーワードをブラケティングすればそれはネットワークになる
- 人間が見るのではなく機械がそれを復習するとするなら、それはどういうものか
- 興味に基づいてリンクを選択して辿る
- 辞書を引く
- 説明文のうちの、興味を持った単語でまた辞書を引く
- Wikipediaをみて冒頭の文章を引用したりする
- 蒸留
- Deep Learningにおける知識の蒸留 | Code Craft House
- 分類モデルにおける確率出力を教師として再学習
- 自然言語で蒸留