OpenAI DevDay
45%→65%
- ベースラインは45%だった
- まずHyDEを試した、これは今回のユースケースでは機能しなかった
- 埋め込みをファインチューニングすることも試した
- これはアキュラシーの観点ではうまく機能したが、高コストで遅かったため採用できなかった
- チャンクのサイズや区切り方を工夫
- それによって20%改善して65%になった
- まだ顧客に渡せるレベルではない
- ここまでに20イテレーションしている
65%→85%
- クロスエンコーダーを使ったり、ルールベースのアプローチをしたりしてリランキング
- ルールの例: 最新のものを使う
- 大きな性能向上
- 分類
- ドメインを分類して、それによって異なるメタデータを付与した
- 具体的には説明されてないが例えばサイボウズ的な文脈で言えば「これはスケジュールだな、参加者の情報を付与しよう」「これはスペースの会話だな、スレッドタイトルとスペースの名前を付与しよう」みたいなことだろう
85%→98%
- 再びプロンプトエンジニアリング
- どのような質問で失敗しているのかを改めて観察
- 例えば明確な数値を必要とする質問に関して、ドキュメントから抽出するのをやめて、SQLを発行するツールを提供した
- クエリ拡張
- 名前でイメージした作業と違った(検索対象の側にヒットしやすいデータを付与するのかと思った)
- ユーザの入力を複数のクエリに分割して、それをパラレルで検索して、合成して返す
- これはかなりユースケース依存の話だと思う
- どこでもファインチューニングをしてない、これを強調したかった
