@nishio: 巨大な言語モデル(LLM)が生まれてホモサピエンスが一生かかっても読めない分量の文章を読んでホモサピエンスより良い理解をしている世界で、自分にどんな存在意義があるのだろうってのをここ数日悩んでたんだけど、シンプルな結論が出た。「まだ書かれていないものを解明する力」だ。
@nishio: ソフトウェアエンジニアとして生きてきた中で「ドキュメントを見ても書いてないぞ」ってことは何度もあった。それを自分で実験することで解明していった。 科学もそう、まだホモサピエンスが知らないことは、書かれていないので、言語モデルも知らない。 知識の応用もそう。
@nishio: 知識の応用に関して「本に書いてあることをそのままやってもうまくいかない」と色々な分野で言われている。これは書籍が抽象化産物だから。具体的なシステムに繋ぎ込むときにはその具体的なシステム自体の知識と繋ぎ合わせすりあわせる必要があるが、書籍には具体的システムの話は数件の例がある程度
@nishio: 文章に書かれていない「目の前のシステム」を理解しなければ、それに知識を応用することはできない。ソフトウェアシステムでも、人間のシステムでも、大部分のシステムには不十分なドキュメントしかない。これを理解することは言語モデルには支援できない。
@nishio: つまり巨大言語モデルは新たな高速道路で、「すでに書かれていること」のゾーンを高速に通過して「まだ書かれていないこと」と直面する最前線へ連れていってくれる。森のようなもの。そこで我々は「まだ書かれていないこと」の森を切り拓いていく仕事をする。
@nishio: 森の切り拓き方にはいくつかのバリエーションがあって、新しい科学的事実の発見はその一つ、机上の空論ではなく社会で使われ機能する実装を生み出すこともその一つ、まだ言語化されていないものを観察して言語化するのもその一つ。 今までもみんな多少はやってきたことだ、その需要が高まっていくだけ