from 日記2023-10-21 ねりねりの価値が緩やかに減ってる ここしばらく感じていること
- 1: あるクエリーQ1を入れた
- 2: omniが「AやBやCが関連する」という
- ぼくは「なるほど!その発想はなかった!面白い!!」となる
- 3: そのomniの刺激で色々と思考が発展する
- 新しいDが生まれている
- 4: そのDに関連してクエリーQ2を入れた
- 5: omniは、僕が最近書いたC1,B1,Dを「関連する」という
- 僕は「知ってる…」となる
人間の足が遅すぎる
- ベクトル検索の飛躍力に比べて人間の思考の発展速度が遅い
- 草が枯れている
- 遊牧のたとえ
- 草を全部食べてしまった
- 移動しなければならない
omni-privateを最初に作った時に少し試してすぐ自分由来断片を検索対象から外した
- それは「他人由来断片がヒットすること」を期待したのに「自分由来断片」ばかりヒットしたからだ
- なぜそれが起きるかというと、自分の文章は自分の文章に似ているからだ
- ベクトル検索を意味による検索だと解釈する人は多いが、実際には意味だけではなく文体なども巻き込んだベクトルになっている
- 傍証: ベクトル検索は同じ意味の他言語がヒットするとは限らない その後実験のために自分由来断片も入れるようにした
- 関係を見出す実験で作られた新しい知見
-
- これで検索するとほぼ自分の文章がヒットしない
- 自分のScrapboxからヒットした断片も「他人の発言のスクラップ」
- まだ踏み荒らされてないところ
-
- 検索結果の自他断片比率で草の量がわかるかも
2023-10-22 omniの仕様バグ
- publicのIterative Commenterに関しては仕様バグがあると気づいた
- AIノートの更新間隔についてタイトルを「🔁」から「🌀」に変更することで「たまに上がってくるように」としたものが今上がって来ている
- ところがタイトルが変更されたことによってそれらのページが検索でヒットしてしまっている
- たぶんそう、まだキチンと確認してない
- そもそもScrapboxを検索インデックスにする時に悩んだ話だ
- 「リネームされたものがヒットしたとしても見つける手掛かりになるから有益」と判断して残す仕様になってる
- AIが生成した少しずつ違う出力が全部検索対象になってるのもよくない
- 現在の検索が「ベクトルの類似度が高い方からN件」という仕組みになっているため、そういうコンテンツがヒットすると検索結果が埋め尽くされてしまう
- その結果、また類似コンテンツが生成されてしまう
- これは仕様の欠陥によるハマりモードの一つだ
- 現在の検索が「ベクトルの類似度が高い方からN件」という仕組みになっているため、そういうコンテンツがヒットすると検索結果が埋め尽くされてしまう
- 古い実装ではScrapboxへのインポート時に更新時間データを潰してテロメアが全更新になる
- 同様に行ごとの更新者情報も塗りつぶしてしまっている
- やはりここは、AIには生身の僕ではないユーザを使わせ、区別して処理することが必要であったか
- 「AI生成コンテンツの中にニンゲンがコメントした時、それは有用」という話も、それを検知して切り出すことをやるべきであった