2014-05-09 Facebookに書いたこと

• 速読について考えた

• 書き出し法支援ツールの話になった

• 電子的KJ法ツールの話になり、画面が狭い問題

  • 束ねる機能
  • レビューツールに関して「見る行動に対して速やかに報酬を与えて強化するべきだった」と考察

• 共同編集にしたことが無益だったのではないかという振り返り

  • 2019年現在: 一人でも共同編集は必要

• 書き出し法はオフラインでできるべき

• 速読の目的は何か

  • 「積読を解消する」という目的はあっさり達成できた 積読解消

• 「読もうと思ったけど読んでない状態」は良くない

  • 読もうと思ったなら読む。
  • 将来必要になった時に検索でヒットすることを期待して保管するなら、検索でヒットすることを確認する。
  • どちらでもないなら捨てる。

• 読書を支援するボットを作りたい

  • →海馬の話

• ここしばらくの速読訓練の結果、自宅から読んでない本が駆逐された

• ある意味、目標は達成したのだが、その結果迷いが生じている

• 次はなにを目指すべきか

• 読んでない学会誌

• 僕の文脈と無関係な内容で勝手に届くので溜まりがち

• これを読むべきかと思ったが、捨てたらいいじゃんという案もある

• ダウンロードした論文

• 実体がないが故に、見えなくなるとすぐ存在が忘れ去られる

• 読むべきか

• 世の中には読むべきものと、そうでないものがある

• コーパスにしようと思ってダウンロードした論文まで読む必要はない

• 読むべきかどうかはどうやって決まるのか？

• 関係ないけど、書き込むと上にリストが出るのは良いな

• 僕のアイデア書き出しプログラムもモバイル用ページはこんな感じにしよう

• 一方で書き込むとキーボードが閉じてしまって、もう一度タップが必要になるのは良くない

• あー、そうか、僕のやつは文章だけじゃなくて書誌情報とかも書く欄があるから既に画面が半分さかれていて、リストを出すところがないのか

• リストがないと思考が途切れた時に挽回する手段がないんだよな

• 一人ブレストでアイデアを書き出す時と本を読みながら抜き書きを作る時で同じUIを使おうとしているのがそもそもの間違いではないか

• ブレストの時に書誌情報いらんやろ

• じゃあブレストはこんな感じで。

• 抜き書きは逆に履歴いらないんだな

• どちらも書き出すことに注力しすぎてレビューの方法を考えてない

• 書き出しの次が、即KJ法マップになってる、不適切？

• 画面が小さい

• 一覧性

• 配置に意味を持たせられるような空間のゆとりがない

• 100枚並べるのが限界だからな

• 束ねる機能が未実装だから圧縮することができないのがよくない？

• 抜き書きとかって、適切な頻度で読み返すことの優先度がもっと高いんじゃないか？

• 抜き書きやレバレッジメモの読み返しは、印刷して8ページを超えるような量になってくるとやる気が出にくくなる

• 終わるまでの時間が見積もりにくくなるから？

• まず読み返すべきはレバレッジメモか！

• レバレッジメモや抜き書きの読み返しが、分量溜まってやる気が減退して頻度下がったことをうけて開発したのがカミクダキだったのだった…

• Twitterを見る代わりに抜き書きを読めばいいじゃん、面白いもの密度はこっちの方が多いんだし、と思ったのだが…

• そうか、読み返しを「きちんと」やろうとしたのが道を誤っているのか

• ランダム表示は実装していたのにデフォルトを「レビューしたのが古い順」にしたのがよくない

• 「見る」という行動に対して速やかに報酬を与えて強化するべきだった

• GAE上でサービスを作って無料枠縮小で辟易したのに、GoogleDocsで作っている懲りない人がいる…

• リアルタイム共同編集に惹かれてたんだけど、結局狭い画面では複数人で編集できるような余裕がない

• 共同編集しかできないツールで、ためらいなく編集ができるのは一部の自信に満ち溢れた人だけだ

• 一人で編集してある程度「人に見せても恥ずかしくない」ものにしてから公開しようと考えるのが多数派だ

• 自信に満ち溢れた人は編集過程での試行錯誤だとか未完成な質の低い状態だとかを他人に見せることに抵抗がない、自信があるからだ

• あと、そういう人が、不特定多数に編集を公開するかどうか

• 自分の作ったものに自信があると、他人に編集されることを不快に思う

• Wikipediaに書いてる人はどういう心境なのだろう？

• あ、だから編集合戦が起こるのか

• 単に「誰でも編集できるから、自分の編集したものも改変や削除されうるが、怒ってはいけない」ということを予測できないのか

• 抜き書きをレビューするツールをオフラインでも使えてオンラインの時に同期するように作るという話だった

• 今作ってあるやつ、オフラインで編集してからのオンライン化とかのパスを網羅したテストが行われてないから不安なのだった

• 各アイテムに最終更新日時がついてないのがいけない、それがあれば古い方を上書きすれば…

• いやダメだな、両方更新されてる時にはマージが必要だよな

• そんなとこを考え始めると結局編集したら編集前のものはもち続けてバージョン管理みたいになる

• サーバはいるから、サーバとの同期時にモバイルのデータは最新のものだけになればいいのか

• などというレアケースの対処に深入りしないでまずはオーソドックスなケースで動くプロトタイプを作るべき

• 話を戻すと、何を速読するか

• 抜き書きを読み直すことの重要性

• だけど目的の明確化が必要だ

• 積ん読を解消するという目的が達成された

• 新しく届いた本もその日のうちに目を通せるようになった

• 次の達成可能な目的を明確化する必要がある

• アナロジーとしては、読むつもりの論文をダウンロードしたらその日のうちに目を通すべきで、

• 学会誌などの購読物が届いた時にはその日のうちに目を通すべき

• 今日読む価値のなかったものが明日読む価値が出るか

  • 出ないとは言い切れないな…

• それは置いといて

• 既に溜まっているものを読むべきかどうかについては一概に言えない

• 「読もうと思ったけど読んでない状態」に放置することは良くない

• 読もうと思ったなら読む。将来必要になった時に検索でヒットすることを期待して保管しておくのなら、そうであることを明確にして、検索でヒットすることを確認すべき。どちらでもないなら捨てるべき。いずれかの方法で「処理」されるべきである。

• つまり、それを判断するのに十分な水準で全て「目を通す」べき

• 本も含め「目を通した」状態になっているものの中には、もっとしっかり読むべきものがある

• それをどうするか

• しっかり読むとは何か

• その本を読むことにもっと時間を投資することで、もっと新しいものが得られそうな気配がある状態

• 目的の明確化

• 本を読んで新しい知見を得るのは何のため？

• この質問に一般的に答えようとすると抽象度が高くなりすぎて、目標は具体的でなければならないことに反する

• ちなみに一般的な答えは「自分の脳内のモデルを改善し、将来起こりうる未知の事態に対処できる確率を増やすこと」だ

• モデルの改善のためには、今の自分のモデルで説明できないことや、自分のモデルでの説明と矛盾することに出会う必要がある

• すんなり飲み込めないものこそ噛み砕く価値がある

• 未知のものに出会うことは目標にしてはいけない、努力をしても確実には達成されないからモチベーションを削ぐ

  • 本当か？

• やらされる仕事については、努力しても成果がでないとやる気が削がれる、でも、フロー理論的には成功率1/3が一番燃える

• 速やかに達成感を得るための目標と、やり遂げたという感慨を得るための目標は別

• あと、確率は事前に知ることができないから自分で調整することが難しい

• 自分で調整することができるものがフローにおちいりやすいのか？

• 近い、必ず達成できる目標は、読んだ本の冊数や時間を記録すると。今は個別に記録しているが、通算で何冊読んだのか？それにどれだけの時間がかかったのか？可視化してはどうか？

• 遠い、チャレンジである目標は、面白いものに出会うこと。週にn個以上。この設定の仕方ならば、見つからなかった時には読む量を増やしたり、あえて異分野に挑戦することで調整できる。かかった時間を記録する。難易度を測って、適度なバランスになるようにnを調節すればよい。

• 見つかった面白いものをブログに書けばよい。承認欲求にリンクすることで好ましい行動の強化を行う。

• まずは今までの集計、それからこれからの計測

• 勉強会に参加するのも、読書同様に時間を投資して面白いものを得るガチャだ。

• 全部記録しよう。一週間ごとに、投資した時間と金額と、得られた面白いものを集計しよう

• 最初からあまり複雑なシステムを構想すると自分の事務能力の低さゆえに実行に失敗して全部嫌になる

• まずは価値の検証に最小限の実装にすべき

• ここにbotを入れたい

  • 文章から文章へのレコメンド
  • ブログコーパスや蔵書コーパスで、出典付きサジェスト
  • いいねを押すと強化される

• 海馬のモデルを考えている

• ゲームのルールは省略

• ゼロ知識の時に走るか曲がるかはランダムに決まる

• 知識がある時には良さそうな行動を取りつつ、探索もする、つまり強化学習

• 走ると壁に当たる、壁状態を認識する

• 短期記憶に各ステップの状態をこたなるものとして持つのか、同一視したものが徐々に文化するのか

• 道を歩いていて「あ、これは前に来たとこ」でユニファイが起こるのだとすると、それまでは別個に持っていたことになる

• でも、そのユニファイってなんだ。同じ入力が与えられた時に状態を同一視するなら、そもそも最初から別個にならない

• 何らかのノイズや履歴情報で同一の入力にならないとすると、ユニファイの側もある程度誤差を許容する必要が出て来て、元の木阿弥

• ブルースターアルゴリズム関係ある？

• この問題が解決されるためには、ユニファイがゼロイチではないということになる

• つまり状態が離散な集合ではなく、連続な空間上に分布していて、距離の遠い近いがある

• 状態の分散表現

• グリッド細胞ってたまたま状態が二次元だからグリッドになってるだけで分散表現だと思った方がいい？

• えーと状態の分散表現

• 壁にぶつかります、不快を感じます、進むとまた不快を感じると予測してそれを避けるようになります、これができる仕組みが必要

• 状態の分散表現と、次のアクションを引数にとって、得られる報酬を予測するニューラルネットが必要

• これは毎ステップ学習できる

• 強化学習を勉強し直す必要がある

• 次の状態も予測するんだっけな

• 状態と次のアクションを引数にとって報酬を返すのはQ関数

• これが次の状態も予測しよう

• 脳内シミュレートで、とりあえず壁に当たったらUターンするところまでは学習しそうだ

• Uターンしたら、今まで何もなかったところには何もないままということを学習できれば、適当に曲がって探索しそう

• 状態の分散表現はどうやって作られるのか

• CA3のリカレントがランダムに初期化されてれば、とりあえず一ステップごとに適当な値が出てくるから、分散表現をランダムに初期化することはできそう

• 時間軸方向にもグリッド細胞的な周期がある？

• 近い状態が近くなるように

• 過去に経験した状態と入力のペアから、入力が引数にとって状態を返すニューラルネットが訓練されているなら、リカレントネットが学習し直すことはできそうだが、その場合の発火パターンはただのIDであって分散表現ではない

• それでもいいのか

• そうすると似たような入力の入ってくる状態が一緒に発火するようになって来て冗長なので、それを圧縮することでユニファイができる

• スパース制約掛けたらできそう

• そしたらそれは、場所細胞的なものになりそう

• スパース制約かかっているこれを分散表現にしたらグリッドになる？

• そう簡単ではないな

• 場所細胞ができたら御の字

• 場所細胞ができるモデルができたら自然言語を入力として食わせよう

• ネズミの方は、状態を受け取って次のアクションを返すニューラルネットがあってそいつが最初はランダムに初期化されてればいいな

• それじゃあ同じ行動を繰り返してしまうのか

• UCB1みたいなことをニューラルネットでやる方法

• 何も起こらなかった時に狭まる仕組み

• トンプソンサンプリングか

• 違うか

• 確信度を表現できるニューラルネットが必要

• 出力がたくさんあればよいのか

• 状態をとって行動を返すランダムに初期化されたネットがあって、出力は各行動ごとに幾つもあって、多数決

• 状態はスパースになる前のが入って来た方が良さそうだ

• 実際は行動も分散表現なのかもね

• この状態行動マッピングを学習させるのに、報酬を直接使ったのでは遅延報酬に対応できないので生命はいつか次の状態の予測と価値の推定を始めた

• ネズミが走り回らないと地図ができないし、遅延報酬を理解しないと走り回らないから、ここはなんとかせねば

• 状態と行動をとって価値を返すニューラルネットの出力がたくさんあればよい

• 最初はランダムに初期化されているので出力の分布は一様分布と考えられて、学習が繰り返すに連れて鋭い分布になる

• この出力の中からランダムに選ばれたものが最も大きいものを選べばだいたいトンプソンサンプリング

• あー、トンプソンサンプリングやUCB1の実現は頑張る必要ないのか、εグリーディーでもいいんだな

• ランダムに選択するニューロンを導入するくらいだったら、という話

• 状態をスパースにした後は普通の強化学習だから普通に実装して、入力から状態へのネットとリカレントネットとスパース化で場所細胞が生まれるという予想をまずは検証すべきだな

• 眠れないまま旅行出発まであと一時間半…

• いまさら寝るのは危険なのでさらに考えるしかあるまい

• ここまでで特定の場所に反応する細胞はできたが、その位置関係はまだ。

• スパースにした後の状態でも状態遷移を学習するのかなー

• こっちにはリカレントないわけだけど。

• 時間平均だ

• 遷移する状態が近く、しない状態が遠くなる方法として刺激を受けたニューロンが他のニューロンの時間解像度に比べて長く活動を続けるならそのニューロンは時間軸の圧縮の働きをする

• 向きの細胞がここに生まれるのは、ネズミの自然な行動として「まっすぐ走る」が頻発するからだ

• 発火の持続時間がなんかの濃度で決まってて、それが海馬に沿って濃度勾配あったりするといいな

• なんでグリッドになるのかわかんないなー

• 意外と二次元に時間平均いれて圧縮するだけでグリッドになるかもしれない、否定的だけど

• ネズミの行動パターンに起因して生まれてそう

• どうせ僕の関心は自然言語だからグリッドはどうでもいい

• うっかりグリッドできてたらすごい

• 文字の読み書きしかできない知性体を作り育てたらどうなるのか