nishio Scrapboxの自動翻訳システム、現状のDeepLベースのものを改良していくかGPTベースのものに乗り換えるか考えている
nishio DeepLベースの手法Pros ・用語集の機能があるので特定の単語が特定の訳語にいくようにコントロールできる ・既存の誤訳を出現箇所を確認してAPIを使わずに置き換える仕組みを実装済み ・頑張れば構造を維持したまま翻訳させられる(XML経由にする) Cons ・頑張るの面倒
nishio GPTベースの手法Pros ・すごそう(ハッタリ) ・実は3.5なら安い ・自然言語で指示するだけで翻訳を調整できる Cons ・用語集的なことを実現するの、コンテキスト幅を食い潰すのでは…出現した言葉だけプロンプトに積むとかの工夫が必要
nishio どっちでも頑張らないといけないんだったらGPTで頑張った方がいい説
DeepLの中の人が頑張ってるのだからそれに乗っかった方がいいだろ説
nishio そもそも翻訳が必要なのか、という議論
日本語の文章をそのまま翻訳するより、LLMがそれを参考に英語で書く方がいいのでは
現状、日本語の文字を含む行は日本語とみなして翻訳しているが、例えば日本語の単語に言及する英文や、漢字を含んでる中国語、英文の機械翻訳なども翻訳してしまう
nishio 「自分が最近書いたScrapboxのページをGPTが読む」というパイプラインができたら、そこから派生して「読んだ感想と質問をSlackに送れ」みたいな派生の可能性がある、これは翻訳エンジンではできない
“DeepLベースの手法”をX、“GPTベースの手法”をYとし、抽象化せよ
- X（DeepLベースの手法）とY（GPTベースの手法）はともにテキスト翻訳の手段ですが、それぞれに独特の利点と欠点があります。
- Xは既に実装され、特定の制御機能（用語の翻訳の制御や誤訳の置き換え）があります。これは、既存の問題を解決し、品質を一定に保つための手段として効果的です。しかし、Xの改良と管理は手間がかかる場合があり、それは時間とリソースの投資を必要とします。
- 一方、Yは柔軟で自然な翻訳を可能にする高度な自然言語処理ツールです。それは大きな進化的可能性を秘めていますが、その潜在的な能力を活かすためには、特定の制御と理解が必要です。
- 両者の選択は、具体的なニーズ、利用ケース、利用可能なリソースに依存します。より高度な制御と手間を必要とするX、あるいは高い柔軟性と進化的可能性を持つYを選ぶかは、あなたの目標によるところが大きいでしょう。
XとYを同じ構造を持った領域にアナロジーで写像せよ。禁止概念: 翻訳, AI
それぞれの翻訳手法を自動車の運転という別の領域に映し出してみましょう。
- X（DeepLベースの手法）は自動運転車に似ています。自動運転車は、あらかじめ設定されたルートとルールに従って道路を走行します。そのルートやルールは自由にカスタマイズでき、一定の安全性と予測可能性を確保します。しかし、新しいルートや状況に対応するためには、新たなデータやルールの追加が必要です。また、新しいルートを追加するたびに時間と労力が必要です。
- 一方、Y（GPTベースの手法）は、経験豊富な人間のドライバーに似ています。このドライバーは、さまざまな道路条件や予期せぬ状況に対応する能力を持っています。しかし、特定のルートや状況で最適な行動をとるためには、そのドライバーが過去の経験から学習する必要があります。
- このアナロジーを用いて見ると、あなたがどの手法を選ぶかは、どの程度制御を求め、どの程度の柔軟性や適応性が必要かによります。一定のルートとルールに従う自動運転車（X）を選ぶか、または経験から学習し、新しい状況に適応する人間のドライバー（Y）を選ぶかは、あなたのニーズと目標に大きく依存します。
このたとえをみてGPTベースの方が楽しそうだなぁと思った
- 決まった道を正しく走ることではなく、まだよくわかってない道を走ろうとしている