- 機械学習による質問の自然さ判定を戻した
- 質問によってベースラインがズレてる問題を解決しないとイマイチ
- キーワードスコアの分布を観察
あなたはこの会話で何が起きて欲しいですか？
一時的にオフにしてた機械学習による質問の自然さ判定を戻したのでそのテストをしたい
その判定は、どんな種類の判定ですか？
文脈は無視して、直前の文書とそれに対する質問のペアに対して自然か自然でないか二値分類する
その文脈は、どんな種類の文脈ですか？
複数の質問の連なりの間の関係とかは見ていない。だからこれを入れて全体としては不自然な流れになる可能性もあり、それは手元ではテストしにくいので実際に使ってみようって感じ
その質問は、どんな種類の質問ですか？
🙁
-
複数の質問の連なりの間の関係とかは見ていない。だからこれを入れて全体としては不自然な流れになる可能性もあり、それは手元ではテストしにくいので実際に使ってみようって感じ
- この質問について、他に何かありますか？
先にこれを聞いておかないと、いきなりこれを聞くのは不自然だろ、みたいな
-
複数の質問の連なりの間の関係とかは見ていない。だからこれを入れて全体としては不自然な流れになる可能性もあり、それは手元ではテストしにくいので実際に使ってみようって感じ
- この質問は、どのあたりにありますか？
-
複数の質問の連なりの間の関係とかは見ていない。だからこれを入れて全体としては不自然な流れになる可能性もあり、それは手元ではテストしにくいので実際に使ってみようって感じ
- この質問は、何のようですか？
-
複数の質問の連なりの間の関係とかは見ていない。だからこれを入れて全体としては不自然な流れになる可能性もあり、それは手元ではテストしにくいので実際に使ってみようって感じ
- この質問は、どこにありますか？
-
複数の質問の連なりの間の関係とかは見ていない。だからこれを入れて全体としては不自然な流れになる可能性もあり、それは手元ではテストしにくいので実際に使ってみようって感じ
- この連なりは、どんな種類の連なりですか？
-
一時的にオフにしてた機械学習による質問の自然さ判定を戻したのでそのテストをしたい
- この判定について、他に何かありますか？
-
文脈は無視して、直前の文書とそれに対する質問のペアに対して自然か自然でないか二値分類する
- この文脈について、他に何かありますか？
その挙動は、どんな種類の挙動ですか？
-
質問だけ切り出して自然かどうか問うと「どんな種類のXか？」って質問が「他に何かあるか？」よりも不自然なんだな
- このXかは、どんな種類のXかですか？
-
「そのXはどんな種類のXか？」を聞くより先に。
- この先は、どこにありますか？
-
「そのXはどんな種類のXか？」を聞くより先に。
- このXは、どんな種類のXですか？
-
文脈は無視して、直前の文書とそれに対する質問のペアに対して自然か自然でないか二値分類する
- この文脈は、どこにありますか？
-
今回流れの挙動に関してはテストケースがたくさんあったので、一旦流れが壊れたのに気づけたし、修正して元に戻ったのも確認できた。
- この挙動について、他に何かありますか？
-
質問の自然度判定によって、明らかに不自然な質問がユーザに投げかけられて、ユーザの心地よさを損ねるケースが減らせると良い
- この質問とユーザの関係は何ですか？
-
質問の自然度判定によって、明らかに不自然な質問がユーザに投げかけられて、ユーザの心地よさを損ねるケースが減らせると良い
- この質問の時、ユーザに何が起こりますか？
-
質問の自然度判定によって、明らかに不自然な質問がユーザに投げかけられて、ユーザの心地よさを損ねるケースが減らせると良い
- この質問とユーザの間には何がありますか？
-
結局、基本二質問に関して心地よい順番があることと、個別の質問としての自然さがその順序にマッチしないのとは調停できないので、基本二質問に関しては自然さ判定をしないようにした
- この判定と質問の関係は何ですか？
-
判定がうまくできていれば質問の質も良くなる。うまくできてないとかえって悪化する
- この判定の時、質問に何が起こりますか？
-
判定のベースラインがズレてると、ベースとして自然になりやすい質問ばかりが選択されて質問の多様性が失われるな
- この判定とユーザの関係は何ですか？