ベクトルインデックスを公開してない人のScrapboxもベクトル検索したい
- そもそもScrapboxに限らずブログとかもじゃないか？
- そもそもデジタルに限らず紙の図書もじゃないか？
- 興味を持ったものをなんでも突っ込んでベクトル検索可能にする箱が必要では
from /villagepump/2023/03/23 from Scrapboxの行とKozanebaのこざねの対応づけ
- ベクトルインデックスを作ってない人のScrapboxもベクトル検索したいな
- shokaiとかrashitamemoとか
- 井戸端のバックアップがGithubで作られてるのと同じ原理で作れそうな気がするな…
- ていうか自分のプロジェクトも１日1回アップデートされたらいいな
- ついでに更新部分の要約を…
- →複数のプロジェクトを横断してベクトル検索
- GPT-4でPythonに移植
- できた
- 誰のプロジェクトのデータでも取れるようになったなー
- それで何をしたかったんだっけな(遠い目)
- 今日はもう疲れてるので終わりにしよう
- 自分のプロジェクトを毎日自動更新するのと、他人のプロジェクトを取るのは、このスクリプトで両方できるけどそもそも別の話だな
- 自分のプロジェクト以外は別に毎日はいらない
- ベクトル検索して質問できるのは便利なんだがPCの前に座らないといけないのは不便
- スマホから使えるようにデプロイしようとするとインデックスファイルがでかいのが問題になる
- うーん、そうなるとPinecoreかなー
- LLMは検索クエリを出すことができる
- 実際にそれを受け取ってWikipediaを検索する実験が行われている
- であればScrapboxを読んでリンク記法を見た時に「そのリンク先を読む」というクエリを出させれば良い
- Scrapboxのリンク構造を生かしたシステム