pKeicho-done-2021-02-05

pKeicho-done pKeicho-done-2021-02-05

• 過去ログに対する統計スクリプトを作る

  • 過去ログをダウンロードするスクリプト、ローカルにないものだけ
  • skip: 対象として不適切なものを分析対象から除外するignoreファイル

• 質問自然度判定、全単語質問ペアについて行ってるので明らかに重い

  • ベストになりえない場合には質問自然度判定を呼び出す前に枝刈りすることにした

• Scrapboxエクスポート時に全選択してコピーしないでもボタン一つでコピー

• Firebaseからデータをダウンロードしたい。

  • →ダウンロードしなくてもデータに対する統計ができた、ダウンロードはキャッシュにすぎない、必要になるまでやるべきではない
  • 必要になったのでやった
    • 過去ログを使った統計、テストを可能に
    • 掘り下げてないキーワードに関係の質問をしないのアルゴリズム修正の結果確認のため
      • 過去ログから人間の入力を取って、新しいアルゴリズムで振る舞いの変化を調べる
    • ローカルキャッシュの更新スクリプトを叩くとまだダウンロードされてないデータがすべてローカルにダウンロードされる
    • ローカルだけで全体に対する統計などができる
    • ✅過去ログを、その時のキーワード抽出結果を使ってリプレイ

• 動きの抽出

  • 動き(動詞を含むキーフレーズ)の抽出
    • 二値分類、能動学習で学習データを作って多層パーセプトロン
    • ルールベースで都合の悪いものを弾く

• サーバが500の時に気づかない

  • 時間が掛かっているのかエラーなのかを表示

• キーワードの抽出数が一定に達することを条件にしてるところが早く発動する

  • 状態遷移の調整

• キーワードを取らない質問が環境を引数にしてスコアを計算できるように設計変更

• 掘り下げてないキーワードに対して関係の質問をしないように修正

• Scrapboxエクスポート画面にコピーボタンを設置

• NGキーワード判定

  • 学習するほどデータがないので目についたダメな単語をリストで弾く

• キーフレーズ抽出速度が遅い時にユーザに明示的に伝える