多分これの影響
これの時に過去ログを使って統計情報を取るスクリプトを走らせたのであった
- 再度走らせてみたらキーワード抽出のコードが変わったことでスクリプトがこけた
- この仕組みが使ってないのかな: ✅過去ログを、その時のキーワード抽出結果を使ってリプレイ
- 使ってなさそう
スコアの観察
- 微妙な差だ :
1> 付箋を動かすことによって緩やかにストーリーを作り上げていくプロセスをユーザが理解できるといい
DEBUG:server.keicho.action:* 825.40 その「ユーザ」は、どんな「ユーザ」ですか？
DEBUG:server.keicho.action:* 1307.41 その「付箋」は、どのあたりにありますか？
DEBUG:server.keicho.action:isPrevious1=0 isPrevious2=1 score1=1360.77 score2=1072.62
DEBUG:server.keicho.action: 1156.96 この「チャット」と「付箋」の関係は何ですか？
DEBUG:server.keicho.action:isPrevious1=1 isPrevious2=0 score1=1072.62 score2=1360.77
DEBUG:server.keicho.action: 1171.96 その「付箋」と「チャット」の関係は何ですか？
リプレイ使って質問の種類ごとの出現頻度を調べた
- 0ではないが1%未満 :
928:0, 639:32, 234:1, 131:31, 96:2, 86:21, 76:3, 57:4, 39:16, 36:23, 36:22, 32:26, 22:24, 15:25, 5:28, 5:27, 4:17, 3:19, 3:18
263 talks, 1677 questions
BASIC_TWO: 1162 (69%)
BASIC_FIVE: 1391 (82%)
TIME: 39 (2%)
RELATION: 10 (0%)
CHAIN: 73 (4%)
relation_before_basic 20
ちょっとスコアの付け方を変えてみた
- 直前出現ボーナスを加算ではなく乗算した :
K = 1
263 talks, 1677 questions
BASIC_TWO: 1156 (68%)
BASIC_FIVE: 1378 (82%)
TIME: 33 (1%)
RELATION: 37 (2%)
CHAIN: 66 (3%)
relation_before_basic 74
うーん、増えたけど「掘り下げてない質問に関係の質問をしている違反」も増えてるな
しかしそもそも今の「違反が起こらないように渋くしたスコア」でも違反が起きてしまってるのであれば、根本的な修正が必要なのかもしれないな
今の計算式で違反が起きてるところがどうして起きてるかを観察すべきだけど 結局のところ単語についてスコアという単独の実数で表現しているのが表現力不足
- 何度も出現した単語のスコアは高くなるが、スコアが高いからと言ってその単語に質問をしたかどうかは関係ない
しかし待てよ、質問して掘り下げてないにしても、スコアが高くなっているということは何度も出現しているはずで、違反が起きてても問題ないのでは 前回の修正前は「直前の発言で出たばっかりの単語に質問される！」という状態だったが、それはminで計算するようにしたことで起こらなくなっただろう 違反が多くても問題ないかも？ やってみてしばらく観察するか。
関係の質問の頻度が少なくなってそうだったのを修正したのでテストしたい 挙動がわかりやすくなるように、適切だと思った値の更に倍の直前出現ボーナスをつけてある。1倍に戻そう。