- 確率pで起こる出来事が観測された時の情報量は-log(p)
- その出来事が起きているかどうかチェックするのに一定のコストがかかるとしたら何から切り捨てるか
- ものすごく確率の低い出来事をチェックしなくなる
- 「起きたことを知った時に得られる情報量」-log(p)はでかいけど、それが起こる確率pが小さい
- 期待値は積の-p log(p) なので、確率の低い出来事は期待値も小さくなる
- 期待値の最大値はpが1/eの時
- 1/2.718、これはフロー理論で実験的に「1/3の確率で成功する時が最もフローになる」と示したのと同根の現象ではないか？
2014-12-17 Facebook 確率pで起こる出来事が観測された時の情報量は-log(p)だけど、その出来事が起きているかどうかチェックするのに一定のコストがかかるとしたら何から切り捨てるべきかって考えてて、ものすごく確率の低い出来事をチェックしなくなるのは「起きたことを知った時に得られる情報量」-log(p)はでかいけど、それが起こる確率pが小さいことによってから積の-p log(p)が小さくなるからだなーと考えて、じゃあそれの最大値はpがいくらの時か？と調べてみたら1/eの時だった。はっ、1/2.718だと？！これはフロー理論で実験的に「1/3の確率で成功する時が最もフローになる」ってのと同じなのでは？！ と興奮して誰かに伝えたいナウ
「チェックしてみたけど起こらなかった」って観測自体にも情報量があると考えて、-(p log(p) + (1 - p)log(1 - p)) にするのがいわゆる情報理論的なエントロピーの定義で、こいつの最大値はpが0.5の時なのだが、人間のハードウェアは「起こらなかった情報」をあんまり重視しないようになっていて、その結果最大値が1/eの位置にずれるのではないか？
もしくは価値観が対称じゃなくて「起こったこと」の方に価値が置かれている場合だな。情報理論的には「1/3の確率で起こることが起こったひゃっほい！」と「2/3の確率で起こることが起こらなかったひゃっほい！」は等価だが、ゲームのガチャを引くときはレアが出ることを期待して引くわけだからな。
あー、だから「情報がほしい」というケースであれば1/2の賭けをするのが最適で、「『成功した時に-log(p)、失敗したら0のリターン』がほしい」なら1/eの賭けが最適なわけか。フロー理論での実験は「チェスの対戦相手を選ぶときに、自分が1/3の確率で勝てる相手を選ぶ傾向がある」だから、この場合は「確率pの相手に勝てたら-log(p)、負けたら0」と感じていて、それを最大化すると1/eになった、ということか。
中山 ところてん どうなんだろうなー。自分は恒温動物の狩りの成功率あたり来てるんじゃないか、とは思ってるけど。 情報量から来ているのか、生物の生存欲求から来ているのか。 確認のコストが十分に安い生命体（変温動物とか、ケイ素生命とか）なら、もうちょい低い成功確率でも待てるんじゃないかなぁ。
狩りが3回に1回成功するところから来る仮説も可能性は否定出来ないな。でも最大値がx=1/eになる式に確認のコストの多寡はでてこないからなぁ。もし仮にどんな賭けでも勝った時の喜びが1であるような生命体がいたら、得られる喜びを最大化によって勝てる確率の高い賭けを選ぶようになる。喜びが情報理論的な情報量で決まるとすると、最大化によって1/2で勝てる賭けを選ぶようになる。人類はなぜか1/3を選ぶように進化した、それがなぜかってことだな。
中山 ところてん 情報量を得て学習が回る。学習＝生存だとすると、淘汰圧から獲得してそうだよね。
淘汰圧が遺伝子のレイヤーなのかミームのレイヤーなのかは不明だけどね。人間以外の生き物で1/3の選好が起こるかどうか検
中山 ところてん ボタンを押すとご褒美がもらえるサルの実験で、そんなのなかったっけ？ ご褒美がもらえる確率をいじくると、脳みそ壊して無限に押させられるとか。