日記2023-11-27

nishio 先日の交流会では「LLMがLLMの出力を学習したら性能が下がる」という意見に対して「いやAlphaGoのように自分で作ったデータで学習しても賢くなる」という話がされていたが、どちらの意見も少しズレていたなと思った。

nishio まず「みんながGPTで作った文章をネットに載せ、それを将来のLLMが人間の入力だと思って学習してしまう」「だから性能が劣化する」という主張に関しては、LLM生成テキストであること識別してフィルターできるから前提が成り立たない

LLM生成テキストの透かし

nishio 「AlphaGoのように自分で作ったデータ」という点に関しては「碁盤と勝敗」という「世界」がプログラムとして実行可能な記述に変換済みで、自己対戦のデータは「世界からのサンプリング」だった。LLMが自己生成テキストを学習してもそれは世界のサンプリングではない。

nishio 「テキストや画像の入力が入ってきて、それに対してリアクションすると、また別の入力が来る世界」が作られていて、それを1億人のアクティブユーザが使ってる。ChatGPTのこと。「いずれLLMに与えることのできるWeb上のデータがなくなる」「データを作るところが大事になる」の作り方の一つ

nishio プログラミングは「コードを書いて実行してみると、結果が得られる」という「定義された世界」なのでAlphaGo同様に「世界のサンプリング」を自己生成できる。

nishio LLMのプログラミング能力は他の能力より伸びやすいというわけ。出てきたコードが一発で動く確率が今後どんどん上がってくるので、人間が1文字1文字入力してtypoしたりするのに比べて生産性が高くなる。人間が全部直接入力するスタイルのプログラミングが駆逐されていくことになる。

nishio 同様に「考えてるだけで行動してない人」の「考える」は世界のサンプリングではない。その種の「考え」の方はLLMの発展とともに緩やかに「価値の低いもの」とみなされるようになっていく。実装なき思想は、もう要らない。

nishio まず「みんながGPTで作った文章をネットに載せ、それを将来のLLMが人間の入力だと思って学習してしまう」「だから性能が劣化する」という主張に関しては、LLM生成テキストであること識別してフィルターできるから前提が成り立たない LLM生成テキストの透かし

cheedah7427 透かしの話は、識別しようと思えばある程度対策できると言うだけの話であって、100%識別可能と言う話ではないと思っていますし、その対策がされたLLMばかりではないし、現実にある文章が特定の条件のLLMから生成されたことを知っている状況は仮定できないので、結局汚染は起きると思います。
cheedah7427 ここでは文章生成システム全体を簡便のためLLMと言っています
nishio 「みんながChatGPTで作った文章をネットに書くから」という文脈の話で、この場合OpenAIはChatGPTが生成した文章であることを識別して学習データから除外できる、という話をしていた。確かに、オープン陣営の多種多様なLLMは、互いに識別ができなくて潰し合うかもね。標準化が必要かも？
cheedah7427 文脈は追えていなかったです、失礼しました。標準化できるのがベストですが、現実には難しい気がしますね、、、トークン生成は様々な要素が絡み合いすぎてる気がします
nishio いえいえ、視点が広がったのでご指摘ありがたいです

🪴 Quartz 4.0