GPT4を使うことでタスクが25%速く終わり、品質が40%高くなるが、GPT4の能力を超えている問題に関して正しい解決策を提供する割合がが20%減る、という研究
- 「何がGPT4にできることか」の判断能力が問われるわけだ
ai_database GPT-4を使用した知的労働者のパフォーマンスは軒並み向上し、特に「もともと成績のよくない人」が大幅に向上… ① BCGのコンサルタント758名を対象とした ② コンサルタント758名を以下3つの集団に分けた ・GPT-4なし ・GPT-4あり ・GPT-4とプロンプトエンジニアリングトレーニングあり ③ 実験は以下3つのフェーズで行わた ・デモと心理的プロファイリングが行われた ・複数のタスクのパフォーマンスを評価された ・インタビューが行われた
■報告内容 ① GPT-4ありの集団は以下のように優れていた ・タスクの完了数が平均で12.2%多い ・タスクの完了速度が平均で25.1%早い ・タスクの品質が平均で40%高い ② もともと成績のよくない人が目覚ましく向上した 平均パフォーマンスが閾値以下の参加者の43%が、自身のスコアを向上させることができた （平均パフォーマンス閾値以上の参加者は17%）
■注意すべき事実 「GPT-4の能力を超えている」と思われるタスクに取り組むにあたって、「GPT-4あり」の参加者は「GPT-4なし」の参加者に比べて、正しい解決策を提供する割合が19%“低くなる”との結果がありました。
→高度なタスクに対してGPT-4に頼るだけだと、普段よりも品質が落ちる恐れがあるとも解釈できる
ai_database ○ 論文情報
Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality
URL：https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4573321
著者：Fabrizio Dell’Acqua, Edward McFowland III, Ethan Mollick, Hila Lifshitz-Assaf, Katherine… さらに表示
catomato 利用者の「GPT-4の能力の範囲内or超えている」を見極めるスキルが重要になりそうね。