日記2023-06-15

非公開資料をベクトル検索対象にすることができたのでいよいよ蔵書横断ベクトル検索なわけだが、この時に情報の塊の単位が悩ましい

• いま、Scrapbox横断検索の対象にしてる人はチェックボックスをつけている
  • 「あとで検索対象を切り替えられるようにしよう」と思ってた
  • まだ実装してない
• 書籍は？
  • 1冊が1単位だとチェックボックスが1000個になるぞ？
  • 束ねる？
    • 同じ著者で束ねるのはScrapboxと同じ雰囲気
    • オードリータンの本、著者はまちまちだが、束ねる？？？
      • 著者で機械的にまとめることができないじゃん？
    • 1000冊の本に事前に適切なグルーピングをすることは不可能だ
  • 全部一つにまとめる？
    • 書籍の1ページがScrapboxの1ページだと考えると300ページ1000冊と考えて、いきなり僕のScrapboxの20倍くらいのものが出現することになる
      • やばそう
  • いやー、全部の書籍である必要はないか
    • いくつかの「同じ人に関してたくさん持ってる本」をクラスターにして少しずつ追加していくか
    • バーチャルに「その人のScrapbox」を構成するイメージ
    • 書籍の1ページ、Scrapboxの1ページより…
      • 「品質が悪い」と言おうとして出版社の人に怒られる気がした
      • 「品質」の定義が違うので、別の言い方を考えると
      • 書籍の1ページって基本的にベッタリと長く続く文章を機械的に同じサイズで切っただけなので、Scrapboxの用に「短く結晶化したページ」が存在しない
      • このことがベクトル検索をする先に多分「検索結果の質が低い」をもたらすと思う
• 最初から最大規模にしない
  • 規模を増やしていく過程で見えるものがある可能性がある
  • 最初から最大規模にするとそれを見る機会を失う
  • そもそも今のScrapbox横断ベクトル検索だって人を絞ってるしな
• そもそもチェックボックスは必要なのか
  • チェックボックスは2^Nの情報を表現できるけど、そもそも「全部横断」と「特定の一つ」以外に必要か？
  • あー、そこで「書籍が書籍ごとのグループになってる時には、同じ著者の書籍から横断検索したい」になるのか

@miiura: The API update has dramatically reduced the execution time of the agent. This is a significant impact for autonomous agents. 🤖

こっちもいじりたい、時間が足りない！

熟議のためには、前提知識の共有が必要である。しかし人は知りたいと思っていないことを学ぶことができない。そこで熟議のためにはまず、大勢の人の「知りたいという気持ち」を掻き立てることが必要である。

• 学びが足りていないことを可視化して「学ぶか、学んだ人に判断を委ねるか」を問えば良いのではないか？ --- 648ad4c7aff09e000019926a

  • @_kayato: 社会課題が複雑化・細分化していく中でも人の認知量には限界ある。前提知識をベースとした熟議は一部のゆとりがある人しか参加できないものになっている気がする。好奇心をベースとするとフィルターバブルの問題もあるし、なかなか難しい問題だな…。

    • @nishio: 確かに。LLMを使って前提知識の学習を効率化したりバイアスを取り除いたりできないかな…

日記2023-06-14←日記2023-06-15→日記2023-06-16 100日前 日記2023-03-07 1年前 日記2022-06-15