🪴 Quartz 4.0

Search

SearchSearch

AIの漠然とした不安感勉強会

Dec 01, 2023, 34 min read

今回の目的

僕とGPTとの最初の出会い

  • 2022年の未踏ジュニア

    • NoxicelはAIを用いた、英作文を通じて英単語を学習するアプリです。英作文によって、英単語を文脈や文法と共に覚えることができます。また、教師がいない場面でも気軽に英作文ができるように、OpenAIの技術を使用し文法や用法等の提案をします。

    • https://jr.mitou.org/projects/2022/noxicel
  • 公開は11月だがもちろん5月の応募段階で気にかけていた
  • 採択されたのでプロジェクトの様子を見ていて、夏頃には自分でもAPIを試してみた
  • 当時は補完APIをPlaygroundで使う形だった
  • 当時の感想「なるほどねー、意外と色々できる。でも英語ならそれなりだけど、僕がやりたい日本語での知的生産性向上にはまだ使えないなー」
  • そして11月にChatGPTがでた
  • これって「悲観的勘違い」じゃん！
  • 各10回試しても、まだ4割ぐらいは「何もしない」を選択する
    • 100回試せば割といい結果になる
    • 10回試した程度では1.5倍の価値(成功確率,期待値)の差を理解するには足りない
    • 少ないサンプル数で価値を低く見積もってしまうと、さらにサンプル数を増やす行動が行われなくなるので、無知の状態から脱出できなくなる
  • →悲観的勘違いをしたことを反省してとにかくたくさん使うことにした
  • 補足: この実験は「ランダム」だが、実際には「使えば使うほど上手く使えるようになる=期待値が上昇する」効果もある

英語と日本語の性能差

  • ChatGPTを使う体験をどんどんやっていった
  • 英語と日本語の性能差を感じた
  • 「感じる」だけではないことが5/2のGPT4リリースで明確になった
  • image GPT-4
  • image
    • 同じシステムを、同じ費用を払って使っていても、日本語などのマイノリティ言語の話者は英語話者に比べて得られるものが少ない
  • この格差は広がっていくのか縮まっていくのか？
    • image
    • A: 広がっていく
      • 指数関数的発展の素直な解釈
    • B: なぜか遅れてる側が加速して追いつく
      • 神風が吹くとか？
    • C: どこかで飽和して、遅れて追いつく
      • S字発展だと考えた場合の解釈
    • AなのかCなのかは知り得ない
      • (Bは…希望的感想だよね…)
  • Aだとするなら
    • 英語を使う国やチームは、日本語を使う国やチームよりもより大きな便益をAIの進歩から受け取る
    • 国際的な競争力を考えたときに、日本語などのマイノリティ言語を使っていることは不利
    • とはいえ「じゃあ社内公用語を英語にするね」が機能するとは思えない
      • アウトプットのハードルが上がってコミュニケーションが抑制されるから
    • どうしたらいいかわからないけどとりあえず自分のScrapboxを毎日DeepLで自動的に英訳する仕組みを作った(3/25)
  • 明治の日本は、高等教育を自国語でできるようにすることが大事だと考えた
    • before LLMの時代には、それは良い判断だったように見える
    • after LLMの時代に、これが呪いにならないか不安
    • 英語を話す発展途上国は、英語を話す先進国で今後発生する「教育のイノベーション」の恩恵を直接受け取ることができる
      • 教育における双方向インタラクションが「人間の教師」に負荷集中する問題が、教師をAIで支援してスケールさせることによって解消される
    • マイノリティ言語話者はこのイノベーションに遅れることになる
  • 0/1ではなく、LLM以前からすでに発生していた傾向でもある
    • ソフトウェアエンジニアが新しいライブラリを使おうとしたり言語やブラウザの世界標準を確認しようとしたとき「英語を読まなければならない」という事態がしばしば発生していた
    • その対象となる人や分野が広がっていく
  • Q&A
    • human.iconマイノリティ言語を使うことによるオーバーヘッドはあるが、それは指数関数的に広がって行かないので、全体の効用が指数関数的に広がって行くなら全体の中での割合は減少していく
    • nishio.icon確かにその世界線はある、AとBの間に2本の線が平行線になるものがあるわけだ
    • human.icon機械翻訳でなんとかなる論
      • human.icon専門用語や社内用語などが元に戻る保証がない
      • nishio.icon企業の実務には世の中で使われてない単語や「なになに株式会社」「なになにさん」みたいな固有のキーワードがたくさん出現する。翻訳によってどの程度破壊されるか。例えば「西尾泰和」が元に戻らないw
    • human.iconもっと時代が進んで、AI同士が情報交換するようになると、もはや英語も第一言語ではなくなるかも
      • nishio.icon多分それはSimpified EnglishにJSONやPythonが混ざった言語になる
  • 関連: 英語話者国の競争優位

情報の分断

  • 3/8に自分のScrapboxをChatGPTにつないで、ChatGPTがこのScrapboxを参照した上で反応を返せるようにした
    • いまではRAGと呼ばれてバズワード化してる
  • 3/24 自分のScrapboxをChatGPTにつないだ話勉強会
    • Toolformer: LLMが外部ツールを使う方向性
    • を、今後の方向性として話した
    • 同日ChatGPT Pluginsリリース

    • bentossell

    • image

    • 事前にPluginsのことを知らされた企業と知らされなかった企業がある

      • gdb Thank you to our amazing set of launch partners — Expedia, FiscalNote, Instacart, KAYAK, Klarna, Milo, OpenTable, Shopify, Slack, Speak, Wolfram, and Zapier. Each has built a very cool integration!

      • image

      • image

世界のちぎれ

  • この出来事3/24の少し前の3/21にまだらな未来が拡大しない、少し後の3/25に世界がちぎれた後を書いた
  • この時期に「世界のちぎれ」という概念が結晶化した
  • この時期の思考をトレースしてみよう
  • まだらな未来とは
  • 未来はすでにまだらに存在している

    • 「未来から来ました！」 奥田 浩美の講演はこの言葉から始まります。勿論2050年とかからタイムマシンに乗ってきたわけではありません。未来は現実の世界で”まだら”に存在していて、すでに一部のビジョナリーリーダーには「在りたい未来」が見えています。見えているどころか、すでにその未来の姿を生きているのです。

    • 未来は、現実の世界においてすでに「まだら」に存在しています。… 私はすでに私にとっての「こうありたい未来」が見えていて、その未来の働き方の一部を育児や介護を通じて実践しています。それがいつも数年後に常識化するという意味で「未来から来ました」と言っています。

    • とはいえ…そんな一部の”勝手な行動ができる人は恵まれた人だけ”、”現実は…”みたいな「世間の常識」を語られますが、そこを越えた現実がどんどん広がり、現実がどんどん破壊されていっています。その破壊されたところに「まだら」に未来人が住んでいるのです。私はそんな「まだらな」未来人の一人です。

  • 3/21 まだらな未来が拡大しない
    • 「まだらな未来」のある世界、今までA1からA2へと変化していくと思っていたのだけど、今観測してることはB1からB2への変化のように見える
    • image
  • 3/25 世界がちぎれた後
  • human.icon連れていくのはwin-winっぽい
    • nishio.icon村を出て行く若者と連れて行く旅人はwin-winで、村に残る人が激おこする構図かも

アーリーアダプター集団の形成

  • 2022-11-19 アーリーアダプター集団の形成

  • 時系列変化

  • 移動した先が正しいかどうかとは独立

    • 移動先で周囲を見てイマイチだと思ったらさらに移動するだけ
    • この「2ステップ先の世界」は元々の世界の人からは本格的に観測困難になる
    • 1ステップ先の世界が良いかどうかはむしろあまり重要ではなく、腰が軽い人との情報接続を維持することの価値の方がウェイト大きいかも？

  • human.icon2ステップ先に進んだ人は、0ステップの人に呼び掛けたりはしない？

    • nishio.iconそれが「旅人が村を訪れる」だと思う
      • メリットの有無などの議論も同様で、メリットがあればやるし、なければやらない
      • 津波てんでんことも繋がってて「逃げて走ってる段階ではそれをやる余裕がない」「落ち着いて余裕ができてから救助活動が行われる」というイメージ

どう生きていくのかという悩み

  • 3/29 津波てんでんこ
    • 「津波が来たら、いち早く各自てんでんばらばらに高台へ逃げろ」
    • 一人でも逃げろということ⇔指示待ち
      • 他の人が動くかどうかは関係ない、自分で判断する
    • 利己と利他の適切なバランス
      • 防災アナウンスを鳴らした、声の届く範囲の人に声を掛けた、それで十分
      • 話を聞かない人や動かない人に関わって自分が逃げるのが遅れてはいけない
  • 津波の場合は「高いところ」に逃げれば良いことが既知
  • 11/6 津波が来る方に賭ける
    • 津波が来るか来ないかは不確定
      • 来ると仮定して高台に走る
      • 来ないと仮定して留まってる人を説得するために留まってはいけない
      • 関連: パスカルの賭け
        • 神が存在する方に賭ける方が得という話
    • これは賭け=不確実性マネジメント
      • しばしばバーベル戦略が反脆弱で良い
      • 物理的身体と違って分人ができるから複数の選択肢に賭けることができる
  • LLM meetup(4/10)

    • takahiroanno 都内某所で行われたLLM meetupに行ってきたけどめっちゃ良かった。参加者は全員LLM関連のデモ持ってこないと参加不可というハイブローなmeetupだったんだけど、50人ぐらいきてた。参加者がひたすら蒸留されてて、LLM無職がたくさんいた。一つの時代のはじまりを感じたよおれは

    • takahiroanno LLM無職=LLMの凄さを目にして思わず会社を辞めた人（最近起業した人を含む）

    • kenn 自分もLLM無職です！まじめな話、スタートアップの始まりなんて無職と何も変わらんので、どうせ無職やるなら会社はじめるのがいいよね。自分のモチベ操作的な意味で。作ってしまえば案外なんとかなるし、なんとかならなくても元から無職だし。笑

  • human.iconnishioさんもどう生きていくか悩むことがあるのですね
    • nishio.icon問題は理想と現実のギャップなので、理想を高くするほど問題も大きくなる。
      • 僕一人で生きてくだけならなんとでもなるとは思うけど、転職活動とかめんどくさいのでやりたくないから理想としてはサイボウズが健全な経営状態をあと20年保ってほしくて、20年のスパンを考えるために20年前のサイボウズと今を比較すると、まあ同程度の変化があると考えるのが自然かなと。(AIで加速する可能性を考慮しなかったとしても)
      • で、変化が必然なら「どう変化するべきか」が問いになる、という流れ。
      • 関連: 人生を悩む

書籍を書くことに対するネガティブな気持ち

  • 最初の書籍「Jythonプログラミング」書いてる最中にバージョンアップ、出版して数年で陳腐化
  • 10年陳腐化しない本を書くぞという気持ちで書いたのが「コーディングを支える技術」(2013)
  • 今年、改訂版を出す話が持ち上がった、10年売れ続けてきた証拠
    • 改訂版が出るということは書籍の有益さのシグナリングなので引き受けようとしていた
    • 1月には「この10年のプログラミング言語の変化」の準備をやってた
    • が、辞めた。次の10年のスコープで考えた時に書籍という媒体に存在意義が見出せなかった
  • 知識の伝達形式として書籍は適切なのか？？？
    • 4/6 人間のために書くよりLLMのために書く方が楽

    • nishio 技術的にはもうできてるので近いうちに一般消費者にも「自分が興味がある分野の知識パッケージをLLMに与える機能」が降りてくる。そうなったら新しい言語の作者はLLM向けの知識パッケージを作って、その言語を使いたい人はそれをLLMに読み込ませて使うようになる。

    • nishio 知識パッケージの作成って実は人間が読むためのドキュメントを作るよりも楽。というのは人間は短期記憶が限られてるので「良い順番」で知識を与えてやる必要があって、執筆者からするとこれがとてもしんどいのだけど、LLMに与える時には順番は関係ないから思いついたことをどんどん書けばいい

    • nishio むしろユーザの質問をもとに「何が足りてない情報か」を特定してそれを追加していく作業をガンガン回す方が良いし、それをやるためのシステム作りが重要になる

  • 速やかにScrapboxで公開し、翌日には英訳、半年経ってから「半年前のこの時にこう書いて公開したけど」と言及する

RAG: Retrieval-Augmented Generation

  • LLMが賢くても、公開されてない社内情報のことは知らない
  • 検索で知識を補うのがRAGのアプローチ
  • この検索を改善していくことに価値がある！
  • 7/18 Azure Cognitive Search
    • image
  • 活路を見出したと思って進んだ先にローマ兵がいた気持ち
    • ローマ帝国=Microsoft帝国

どこにいってもローマ

LLM時代のグループウェアの適切な抽象レベル

  • 現状の製品の設計を前提にして汎用の機能としてLLM機能の追加を考えることは現状の抽象度を暗黙に仮定することになる

  • Cybozu Days Keynoteで「今はインターネット黎明期のようなもの」と話した
    • 0→1のビジネスモデル探索が必要な時期
    • 「見つけるべきもの」がなんなのかまだわからないが、それが既存製品と連続的なものだと思い込んではいけない
    • /nishio/街灯の下で鍵を探す

      • ある公園の街灯の下で、何かを探している男がいた。そこに通りかかった人が、その男に「何を探しているのか」と尋ねた。すると、その男は、「家の鍵を失くしたので探している」と言った。通りかかりの人は、それを気の毒に思って、しばらく一緒に探したが、鍵は見つからなかった。そこで、通りかかりの人は、男に「本当にここで鍵を失くしたのか」と訊いた。すると、男は、平然としてこう応えた。「いや、鍵を失くしたのは、あっちの暗いほうなんですが、あそこは暗くて何も見えないから、光の当たっているこっちを探しているんです」

AI失業をFactorioで説明する

  • nishio 「AIに仕事を奪われる」みたいな1の思考してる人、システムの理解を高めるためにFactorioをした方がいいのではないか(唐突)

  • 1の入力で2の出力が出てた変換装置が、3の出力を出すようになるのが生産性の向上
    • image
    • この時に下流のネットワークに十分な需要があるなら効率がアップする
      • たとえば「実装すべき機能がたくさんあるけどエンジニアの手が足りてない」的な状況ではよりたくさんの機能を実装できるようになる
      • 未充足の需要がたくさんあるから
    • しかし需要がないなら下流の在庫が積み上がったりベルトコンベアが埋まったりしてその生産装置の稼働率が下がる
      • 企業の税務処理のタスクはだいたい充足されていて、1.5倍に需要が増えたりしない
      • なので1.5倍の生産性向上が起きたら3人に1人必要なくなる
    • この時、アメリカでは不要になった人を解雇する
      • 日本では正社員の解雇規制が厳しいので人事異動をして他の領域に転用する

        • nishio 稼働が下がったホワイトカラー、溢れてるボールを拾いにいったり、自発的兼任したり、新しい部署を作ったり、という形でアジリティを出す選択肢があって、ジョブデスクリプションで強く縛ってるとその妨げになるよな感、社内を個々人が移動できる全社的情報共有がAI時代のアジリティに重要かも

        • グループウェアのステマです()
  • image

どうすれば良いのか

  • 何をやっていくのが正しいのか
  • 議論しても多分コンセンサスに至らない
  • コンセンサスに至るのを待つことはよくないことだと思う
  • 勝手に色々やっていく

僕の今のターゲット: 要約

  • 自分が本を読んで理解するプロセスで何が行われているのか
    • 書籍全体よりもデータ量の少ない表現になっていってる
      • 広い意味で「要約」
    • その上でリンクの接続が行われている
  • 要約は曖昧概念
    • 「要約」という言葉で表現されるタスクにおそらくいくつかのことなったものがある
    • それを表現する言葉が熟してないため言葉でLLMに指示をすることが困難
    • 一方で「大きな入力を受け取るタスク」なのでFew shotsの事例でやってほしいことを表現するのも困難
    • データを作ってファインチューニング
  • この方針が正しいかどうかはわからないし数ヶ月後にはまた別のことをしているかもしれない
    • だが思考によって「やってみなければわからないこと」の森の入り口に到達したので、分け入ってみるしかない

Q&A

Graph View

Backlinks

  • No backlinks found