何を確かめたか
Issue #471(ローカル LLM のベンチマークと推奨スペック)は、2026-10 に「自治体の普通の PC で実用的に動くか」へ問いを定め直した。速度は katsushi2441 さんの実測(4 コア・16GB・GPU なしで ELYZA-JP-8B が抽出 1 件 7.9 秒など)でかなり埋まった。残っていたのは「どのモデルなら出力の品質を受け入れられるか」で、そのための評価方法が決まっていなかった。
2026-11-10 に nishio の依頼で、品質だけを見る実験をした。問いは「オープンウェイトのモデルに広聴AI の処理をさせたとき、今の既定のクラウドモデル(gpt-4o-mini)と比べて品質が落ちるか」。
材料と条件
- データ: team-mirai-2025-open-dataset。広聴AI の 2025-07-30 の実行(gpt-4o-mini)の入力・出力と、プロンプトを含む実行設定が全部入っているので、同じプロンプトで LLM だけを差し替えられる
- 比べたモデル: gemma-4-31B-it と Qwen3.8-27B。どちらも組織内の OpenAI 互換 API で配信されているもの。広聴AI の
localプロバイダは完全な URL とLOCAL_LLM_API_KEYを受け付ける(llm-providers)ので、本体を変えずにつなげる形と同じ呼び方をした(json_schemaの strict、temperature 0、seed 0)。gemma-4-12B も予定していたが、当日は配信先が別のモデルを返したので外した - 基準: 公開データに入っている gpt-4o-mini の出力。正解ではなく比べる相手として扱う
- 実験 1(抽出): 課題 200 件を無作為に選び、当時の抽出プロンプトで意見を取り出した
- 実験 2(ラベル): 下位 400 クラスタから 40 個を無作為に選び、当時の初期ラベルのプロンプトで表札を付けた。所属する意見は公開データのまま。入力の 30 件は 2 モデルで同じものにした。gpt-4o-mini の表札は当時の別の無作為抽出の 30 件から作られているので、入力の揺れの分だけ差に雑音が混ざる(どちらかに有利な偏りではない)
- 判定: Claude(Opus)のサブエージェント。どれが基準かは伏せ、A/B の順は無作為にした
- 抽出は、出力が同じもの・句読点だけ違うものを引き分けにして、残り 176 組を判定した
- ラベルは 120 組(40 クラスタ × 3 組み合わせ)を、A/B を入れ替えて 2 回判定した。2 回の結論が一致したときだけ勝敗とし、食い違ったら引き分けにした
- 一次の出力・判定・スクリプトは手元の
raw/experiments/2026-11-10-team-mirai-local-llm-quality/に置いた(公開しない)
結果 1:抽出
| 出力が同じ | 句読点だけの差 | 判定した組 | ローカルの勝ち | gpt-4o-mini の勝ち | 引き分け | |
|---|---|---|---|---|---|---|
| gemma-4-31B | 89 | 15 | 96 | 16 | 6 | 74 |
| Qwen3.8-27B | 93 | 27 | 80 | 14 | 13 | 53 |
- 入力の課題は、もともと gpt-4o で政策提案から取り出した短い 1 文なので、どのモデルも半分ほどは同じ出力を返した。生の自由記述より易しい入力である
- gpt-4o-mini の負け方: 分け方がまずい(因果を切って片方が単独で読めなくなる)12 件、意見を 1 つも残さない 4 件(例:「ひとり親家庭への支援が不十分である」→ 空)、「〜すべき」への強め 7 件
- gpt-4o-mini は 200 件中 31 件を 2 つに分けたが、ローカルの 2 モデルは 10〜11 件しか分けない
- Qwen3.8-27B の負け方: 「〜すべき」への強めが 12 件、前提の脱落が 5 件
- 例:「選挙に関連するプッシュ通知やリマインダー機能が不十分である」→「…機能を充実させるべき」
- 例:「福祉の政策が十分に具体的でないため課題解決に寄与していない」→「…具体的であるべきであり…」
- これは、既定プロンプトの入出力例が「必要がある」を「すべき」に言い直しているせいで起きる強め(extraction-faithfulness-public-models-2026-10-08)と同じ型で、例を直すと減ることが分かっている
- gemma-4-31B の「〜すべき」への強めは 5 件だった
結果 2:ラベル
| 組み合わせ | 2 回とも同じ勝者 | 引き分け(2 回とも) | 2 回で食い違い | 勝ち点(勝ち 1・引き分け 0.5、80 判定の平均) |
|---|---|---|---|---|
| gemma-4-31B 対 gpt-4o-mini | gemma 14・gpt 4 | 7 | 15 | gemma 0.62 |
| Qwen3.8-27B 対 gpt-4o-mini | Qwen 16・gpt 6 | 5 | 13 | Qwen 0.62 |
| gemma-4-31B 対 Qwen3.8-27B | gemma 10・Qwen 8 | 10 | 12 | gemma 0.51 |
- 表札の文字数の中央値は gpt-4o-mini 21 字、gemma 31.5 字、Qwen 31 字。判定役には「長さで優劣を付けない」と指示した
- gpt-4o-mini の負け方: 主な論点を落とす(延べ 39)、漠然としている(27)
- 例:大半が学校の猛暑・空調不足の話のクラスタに「教育環境の酷暑対策と福祉専門職のキャリア支援」と、少数の別話題を見出しの半分にした
- 例:AI・半導体の国産化が多いクラスタを「再生医療・バイオ分野における…」に絞った
- ローカルの負け方: gemma は言い過ぎ(19。「構造的欠陥」「機能不全」のような強い語)、Qwen は意見に無い軸を足す(18)と言い過ぎ(13)
- 例:Qwen「画一的な教育制度による多様な子どもの権利侵害…」は中身より強いとして gpt-4o-mini と gemma の両方に負けた
- 判定役の信頼性は低い
- A/B を入れ替えた 2 回で結論が一致したのは 120 組中 80 組(67%)
- 後ろに置いた案(B)を選ぶ偏りがある(B 92 対 A 69)
- 確信度は「迷う」が半数を超えた
結果 3:大きさを変えた比較(同日に追加)
nishio の「それから 8B」「間の大きさのモデルも試せるといいな」を受けて、同じ課題 200 件・同じ 40 クラスタ・同じ入力で 4 モデルを足した。
- 足したモデル: ELYZA-JP-8B(Llama-3 系の日本語調整)、gemma-4-E4B、gemma-4-12B、gemma-4-26B-A4B(専門家混合。1 語ごとに働くのは約 4B 分)
- どれも 4 ビット前後に量子化した重みを llama.cpp で動かした。GPU のない 8 コアの ARM サーバー(メモリ 30GB)を使った
- 呼び方はほかと同じにした(
json_schemaの strict、temperature 0)。gemma-4 では考える段(thinking)を切った - 31B と 27B は組織内 API で配信されたもので、量子化の条件は揃っていない
- 判定: 抽出は、境界の規則(下の「評価方法として残ったこと」2.)を判定基準に書き足して、全モデルを判定し直した
- 31B・27B の 176 組は、初回とは別の判定役が判定した。初回と 93% 一致した。上の結果 1 の数字は初回の判定のものなので、下の表と少しずれる
- ラベルは、各モデルと gpt-4o-mini の組を A/B を入れ替えて 2 回判定した
抽出(境界の規則を足した判定)
| モデル | 出力が同じ | 句読点だけの差 | 判定した組 | ローカルの勝ち | gpt-4o-mini の勝ち | 引き分け | ローカルの主な負け方 |
|---|---|---|---|---|---|---|---|
| gemma-4-E4B | 62 | 24 | 114 | 14 | 6 | 94 | 「〜すべき」への強め 4、意味の変化 3 |
| ELYZA-JP-8B | 102 | 9 | 89 | 16 | 13 | 60 | 脱落 8、例文の写し 2、空 1 |
| gemma-4-12B | 94 | 26 | 80 | 17 | 2 | 61 | 意味の変化 1、強め 1 |
| gemma-4-26B-A4B | 85 | 21 | 94 | 18 | 8 | 68 | 強め 5、意味の変化 2 |
| Qwen3.8-27B | 93 | 27 | 80 | 15 | 13 | 52 | 強め 10、脱落 5 |
| gemma-4-31B | 89 | 15 | 96 | 15 | 4 | 77 | 強め 2 |
- どのモデルも、JSON の形で返せなかった出力は 200 件中 0 件だった
- gpt-4o-mini の負けは、どの組でもおおむね同じ型だった。まずい分割、空の出力 4 件、強めである
- ELYZA-JP-8B は 2 件で、入力と無関係な文を返した。抽出プロンプトの入出力例にある 4 文(「AI はエネルギーグリッドを最適化し…」など)をそのまま返したもので、小さいモデルで知られる例文の写しである
- 勝ち負けの数には 2 敗としか出ないが、レポートに架空の意見が混ざる種類の誤りで、件数より重い
- gemma-4 の 4 モデルでは 0 件だった
- 2 つ以上に分けた件数は gpt-4o-mini の 31 に対し、E4B 15、12B 4、26B-A4B 1 だった。分けないことはほとんど負けにならなかった
ラベル(A/B を入れ替えた 2 回)
| モデル | 2 回とも同じ勝者 | 引き分け(2 回とも) | 2 回で食い違い | 勝ち点(95% 区間) | 表札の文字数(中央値) | ローカルの主な負け方 |
|---|---|---|---|---|---|---|
| gemma-4-E4B | E4B 18・gpt 6 | 8 | 8 | 0.67(0.56〜0.78) | 26 | 少なく、型は散らばる |
| ELYZA-JP-8B | ELYZA 12・gpt 8 | 15 | 5 | 0.54(0.44〜0.66) | 19 | 漠然 14 |
| gemma-4-12B | 12B 17・gpt 8 | 9 | 6 | 0.61(0.49〜0.73) | 28.5 | 論点の取りこぼし 10、言い過ぎ 9 |
| gemma-4-26B-A4B | 26B 13・gpt 15 | 2 | 10 | 0.47(0.34〜0.61) | 34 | 長すぎ 23、言い過ぎ 18、意見に無い軸 12 |
| Qwen3.8-27B | Qwen 16・gpt 6 | 5 | 13 | 0.62(0.50〜0.74) | 31 | 意見に無い軸、言い過ぎ |
| gemma-4-31B | gemma 14・gpt 4 | 7 | 15 | 0.62(0.51〜0.72) | 31.5 | 言い過ぎ |
- 勝ち点は、2 回の判定で勝ち 1・引き分け 0.5 として平均した値。0.5 なら gpt-4o-mini と互角。区間は 40 クラスタを復元抽出して出した(5000 回)
- gpt-4o-mini の表札の文字数の中央値は 21 字
- 26B-A4B は、長く強い表札で負け越した
- 40 個中 8 個が 40 字を超えた。ほかのモデルは 0〜2 個だった
- 例:「保育士の低待遇・劣悪な労働環境に起因する人材確保と専門性維持の危機」が「保育士の待遇改善と専門性の尊重に関する課題」に負けた
- 例:「現行の福祉政策における精神的健康・心理的安全性の軽視と、支援の構造的格差・不十分性」が「精神的健康と福祉政策の包括的改善」に負けた
- ELYZA-JP-8B は「〜の改善の必要性」のような漠然とした表札で負けることが多かった
- 判定役の 2 回の一致
- 初回(120 組)は 67%。gpt-4o-mini との組だけなら 65%
- 8B 級(80 組)は 84%
- このとき 2 つの判定役が同じ名前の一時ファイルを使い、互いの途中結果が一部見えた可能性がある
- 12B・26B-A4B(80 組)は 80%
- こちらは一時ファイルを判定役ごとに分けたので、8B 級の 84% も大きく水増しされてはいなさそうだ
結果 4:元の PR からの抽出(同日に追加、勝敗は撤回)
撤回(2026-11-10): この節の勝敗(31B 171 勝 4 敗、E4B 166 勝 16 敗など)は、比べ方が誤っていたので使えない。nishio の「4B で gpt-4o に勝つの本当ですか?実験手法が間違ってない?」を受けて調べて分かった。
- 何が誤っていたか: gpt-4o の入力は、当時の PR データ(team-mirai-volunteer/pr-data の 2025-07-27 の snapshot)から作られている。この snapshot では 198 件中 153 件(77%)の PR 本文が空で、gpt-4o はタイトル・コメント・コミットメッセージだけから問題を取り出していた
- 例:PR 192 の当時の出力は、コミットメッセージの 2 行とそっくり対応している
- 根拠 1:元のコード(policy-pr-hub)は pr-data の JSON をそのまま読み、
basic_info.bodyが無ければ本文を入れない。153 件はその JSON にbodyの項目自体が無い- 根拠 2:その 153 件は、JSON の収集時刻(
collected_at)が当時の抽出時刻(extracted_at)と一致する。抽出に使われた記録がこの JSON だと分かる- 根拠 3:gpt-4o の問題文のうち、タイトル・コミット・コメントに無く今の本文にだけある 6 字の言い回しを含むものは、本文が入っていた 45 件では 90%、本文が無かった 153 件では 26% だった(別の PR の本文と比べると 4%)。26% は、同じ話題を言い換えた偶然の一致と見ている
- チームみらいの公開データの課題(problems)の多くは、PR 本文を見ずに作られていることになる。データセットの説明(タイトル・本文・コメント・コミットメッセージを渡した)とは食い違う
- ローカル側には、今の GitHub から取り直した本文入りの入力を渡していた。入力の長さの中央値は、gpt-4o 190 字に対してローカル 1,511 字で、8 倍ほど違った
- 判定役は今の本文を見て判定したので、gpt-4o が見ていない内容を拾えていないことを「取りこぼし」として負けにしていた。gpt-4o の負けの理由で一番多かった「具体的な問題の取りこぼし」(122〜135 件)の多くは、これで説明がつく
- 残るもの: ELYZA-JP-8B が 66 件中 9 件でプロンプトの入出力例を写したこと、gemma-4-12B が 9 件で説明欄の繰り返しが止まらなかったことは、基準と比べなくても分かる失敗なので、長い入力での観察として残る
- 次: 本文が抜けた入力での比較はしない(nishio 判断:データの側がおかしい)。PR からの抽出の品質を測るなら、比べる相手も本文入りの同じ入力で作り直す
nishio から「抽出したデータからさらに抽出してるのでは?元 Issue からの extraction で計測した?」と指摘があった。そのとおりで、結果 1〜3 の抽出の入力は、gpt-4o が PR から取り出した短い 1 文だった。チームみらいのデータは、次の 2 段の LLM 処理を経ている。
- PR から課題を抽出する(gpt-4o)
- その課題から広聴AI が意見を抽出する(gpt-4o-mini)
結果 1〜3 で測ったのは 2. だけである。そこで、長い文から取り出す 1. の段を gemma-4-31B で測った。
- 入力: 結果 1 の 200 件のもとになった 198 の PR。タイトル・説明・コメント・コミットメッセージを GitHub から取り直し、元のコード(policy-pr-hub
src/analyzers/problem_extractor.py)と同じ順に並べた- 1 件の長さは中央値 1,511 字、最大 4,815 字
- コメントは今回取り直したもので、当時と完全に同じかは確かめていない
- プロンプト: データセットに入っている 1. のプロンプトを、1 字も変えずに使った
- 出力の形は
json_schemaの strict(problemsとexplanation)、temperature 0 にした - 元の実行は gpt-4o の
json_objectで、temperature は API の既定値だった
- 出力の形は
- 基準: 公開データに入っている gpt-4o の出力。既定の gpt-4o-mini ではなく、それより強いモデルである
- 判定: 出どころを伏せた 2 案比較。198 組を 4 つに分けて、4 つの判定役が 1 回ずつ判定した
- 基準は、忠実性(PR に無い問題を足していないか)、網羅(主な問題意識を落としていないか)、粒度と形(1 件 1 問題か、解決策の言い換えになっていないか)
- 判定役には「件数や長さで優劣を付けない」と指示した
| gemma-4-31B の勝ち | gpt-4o の勝ち | 引き分け | |
|---|---|---|---|
| 198 組 | 171 | 4 | 23 |
- 確信度「明確」は、31B の勝ちのうち 99 件だった
- gpt-4o の負け方: PR の具体的な問題を落とす 135、解決策や目標の言い換えになる 42、単独で読めない 31、意味の変化 29
- 典型は、PR が背景で挙げた具体的な問題を「〜が不十分」「〜が必要」の抽象的な 1〜3 件に縮める形
- 例(PR 2736):gpt-4o「研究成果が事業化されにくい」「事業化支援の仕組みが強化されていない」、31B「…基礎研究の水準は高いが、ビジネスや新産業の創出に十分に結びついていない(研究と事業の断絶)」「…初期投資後の継続的なサポートや財務的なモニタリングを含む伴走支援体制が不十分である」
- 提案者の名前(「高齢者さん」)を内容と取り違えた例もあった
- 31B の負け方: 4 件
- PR が「可能性」と書いたことを断定する強めが 3 件
- 出力が終わらなかったものが 1 件。PR 5531 で、説明欄で同じ英文を延々と繰り返し、JSON が閉じなかった。温度 0 で起きる繰り返しのループで、何度送り直しても同じだった。広聴AI 本体の抽出の出力形式には説明欄が無いので、本体では起きにくい
- 件数と長さの偏りの確かめ: 31B は 1 件の PR から平均 3.9 件、gpt-4o は 2.7 件を取り出した。1 件の長さの中央値は 46 字と 27 字だった
- 件数が同じ 41 組でも、31B 28 勝・引き分け 13・gpt-4o 0 勝だった
- gpt-4o の方が多く取り出した 19 組でも、31B 12 勝・gpt-4o 2 勝だった
- 「多いほど勝つ」だけでは説明できない。ただし、判定役(Claude)が具体的で長い文を好む偏りは除けていないので、人の判定で確かめる必要がある
- 組織内 API の応答が遅く、198 件に 94 分かかった
小さいモデルでも同じ条件で測った(同日に追加)
結果 4 と同じ PR・同じプロンプト・同じ判定基準で、CPU で動かした 3 モデルを足した。
- 長い入力を読み込む段は、このマシンの CPU で 1 件あたり毎秒 8 トークンほどだった。4 件同時でも 1 件に約 5 分かかる
- そのため gemma-4-E4B(#471 の本命)は 198 件すべて、ELYZA-JP-8B と gemma-4-12B は 3 件に 1 件の 66 件で回した
- 所要時間は、E4B 198 件で 2 時間 39 分、ELYZA 66 件で 78 分、12B 66 件で 111 分だった
- 出力が止まらない場合に備えて、出力の長さに 2,048 トークンの上限を付けた
| モデル | 件数 | ローカルの勝ち | gpt-4o の勝ち | 引き分け | 66 件の共通部分での勝ち・負け・引き分け | 1 件の PR からの問題数 | 1 件の長さ(中央値) | 出力の壊れ |
|---|---|---|---|---|---|---|---|---|
| gemma-4-31B | 198 | 171 | 4 | 23 | 56・0・10 | 3.9 | 46 字 | 説明欄の繰り返しで返らず 1 |
| gemma-4-E4B | 198 | 166 | 16 | 16 | 56・6・4 | 2.8 | 51 字 | 0 |
| gemma-4-12B | 66 | 47 | 12 | 7 | 47・12・7 | 4.2 | 43 字 | 説明欄の繰り返しで返らず 9 |
| ELYZA-JP-8B | 66 | 32 | 26 | 8 | 32・26・8 | 3.5 | 33.5 字 | 入出力例の写し 9 |
当時の gpt-4o は、1 件の PR から 2.7 件、1 件の長さ中央値 27 字だった。
- gemma-4-E4B は 31B とほぼ同じ水準だった
- 16 敗のうち 15 件は、判定役が「迷う」とした僅差だった
- はっきり負けたのは 1 件で、幸福度の指標の扱いを直したいだけの PR に「経済指標のみを重視する傾向がある」と書き足していた
- 取り出す件数は gpt-4o とほぼ同じだった。件数が同じ 63 組で 55 勝 2 敗、gpt-4o の方が多く取り出した 58 組でも 37 勝 13 敗だった
- ELYZA-JP-8B は 66 件中 9 件で、プロンプトの入出力例を写した
- 8 件で、入出力例の「高齢者の地域での孤立が深刻化している」「現在の高齢者支援制度では孤立問題に対応できていない」がそのまま出力に入った
- そのうち 4 件はこの 2 文だけを返した。エネルギー政策、議事録の自動化、母子手帳と夫婦別姓、再生可能エネルギーの PR で、どれも本文に「孤立」も「高齢」も無い
- 残る 1 件は、美容医療の政策の提案を、入出力例の 2 つ目の説明文と同じ文言で「技術的な修正のため、政策的・社会的問題は含まれていません」として空で返した
- 短い 1 文が入力だった結果 3 では 200 件中 2 件だったが、長い入力では 14% に増えた
- 広聴AI では、写された文が「高齢者の孤立」という架空の意見のまとまりになる
- 写しを除いた 57 件でも 32 勝 17 敗で、ほかの 3 モデルより明らかに弱い
- 8 件で、入出力例の「高齢者の地域での孤立が深刻化している」「現在の高齢者支援制度では孤立問題に対応できていない」がそのまま出力に入った
- gemma-4-12B は 66 件中 9 件で、出力が返らなかった
- 31B で 1 件起きたのと同じ失敗で、説明欄で同じ文を繰り返して上限の 2,048 トークンで切れ、JSON が閉じなかった
- 取り出した問題の部分はまともで、この 9 件を除けば 47 勝 3 敗だった
- このプロンプトが求める自由記述の説明欄と、温度 0 の組み合わせで起きている。広聴AI 本体の抽出の出力形式には説明欄が無い。ただし、説明欄のような自由記述の欄を足すときには気を付けるべき失敗である
- 判定役は、どの案にも勝ちを付けたわけではない。ELYZA は gpt-4o に 26 敗した。判定役が「ローカル側の書き方」をひいきしているだけなら、この差は出ない。具体的で長い文を好む偏りまで除けたわけではないので、人の判定は引き続き要る
結果 5:本文が同じ入力での比較(2026-11-11)
nishio の判断で、本文の抜けた入力でのやり直しはせず、当時の入力に本文が入っていた 1,105 件の PR(すべて 2025-05 作成)で比べた。
- 入力: 1,105 件すべてで、gpt-4o の当時の入力と今回の入力が一字一句同じことを確かめた。どちらも、pr-data の記録から元のコードで組み立てたもの
- 比べたもの: 公開データの gpt-4o の課題と、gemma-4-31B の出力
- 31B は、本文を戻した全 PR の抽出し直しの一部として作った(team-mirai-2025-open-dataset)
- 31B の条件は、
json_schemaの strict、temperature 0、出力の上限 2,048 トークン。説明欄の繰り返しで切れた出力は、温度を上げずに閉じているproblemsを取り出した(下の「温度 0 での繰り返しのループ」) - 元の gpt-4o は、
json_objectで temperature は API の既定値だった
- 標本と判定: 1,105 件の PR 番号を小さい順に並べ、
random.Random(0).sampleで 200 件を選んだ。出力が句読点と空白を除いて同じ 6 件は引き分けにし、残る 194 組を 4 つの判定役に分けて判定した。判定の基準は結果 4 と同じ
| 31B の勝ち | gpt-4o の勝ち | 引き分け | 勝ち点(95% 区間) | |
|---|---|---|---|---|
| 200 件 | 143 | 18 | 39(同一 6 を含む) | 0.81(0.77〜0.85) |
| 確信度「まあ確か」以上だけ | 90 | 2 | 12 | — |
- gpt-4o の負け方: 主な問題の取りこぼし 59、解決策の言い換え 32、強め 29、PR に無い問題の付け足し 29、言い換えの重複 25
- 31B の負け方: 強め 9、付け足し 7、言い換えの重複 5
- 偏りの確かめ
- 1 件の PR から取り出す問題の数は、31B 3.7 件、gpt-4o 3.5 件でほぼ同じだった
- gpt-4o の方が多く取り出した 43 件でも、31B の 32 勝 2 敗だった
- A/B の位置は、A 76 回・B 85 回の勝ちで偏りは無い
- 問題 1 件の長さは 31B 47 字、gpt-4o 35 字(中央値)で、長く具体的な文を判定役が好む偏りは除けていない
- 判定役は 4 本とも「どちらかが一貫して強い印象はない」と報告した。1 件ずつは僅差が多く(31B の勝ちの 53 件は確信度「迷う」)、積み上げると差が出た
- 言えること: 同じ入力なら、この題材の課題抽出で gemma-4-31B は当時の gpt-4o に劣らず、判定役(Claude)の見立てでは上回る
- 限界
- 判定役は Claude で 1 回だけ判定した。A/B を入れ替えた 2 回目も、人の判定もまだ無い
- 1,105 件は 2025-05 の PR だけである
- gpt-4o は API の既定の温度で動いていて、条件は揃っていない
- 訂正(2026-11-11): 最初の判定は、温度 0 で送り直す前の 31B の出力で行っていた。判定した 194 組のうち 12 組は、Hugging Face に載せた課題と中身が違った(PR 139 は当時 31B の出力が空で、31B の負けになっていた)。この 12 組を公開データから作り直し、同じ判定基準でもう一度判定した。141 勝 19 敗(引き分け 40)が 143 勝 18 敗(引き分け 39)に変わり、勝ち点は 0.81 のまま。結果 6 の 60 件(31B の行)は 1 組が入れ替わっただけで、数字は変わらない
結果 6:どこまで小さいモデルで足りるか(2026-11-11)
nishio の「どこまで小さいモデルでOKなのか測って」を受けて、結果 5 と同じ公平な条件で、小さいモデルを gpt-4o と比べた。
- 条件
- 入力が gpt-4o と一字一句同じ PR だけを使い、結果 5 の 200 件の先頭 60 件で比べた
- 判定は結果 5 と同じ基準で、2 つの判定役が 1 回ずつ行った
- 31B の行は、結果 5 の判定をこの 60 件に絞ったもの
- 動かした環境: GPU のない 8 コアの ARM サーバーで、llama.cpp の CPU 配信を使った
- 量子化
- CPU のモデルは 4 ビット前後:E2B・E4B・ELYZA は Q4_K_M、12B は QAT の UD-Q4_K_XL、26B-A4B は UD-Q4_K_M
- 31B は組織内 API で配信されていて、重みは
Intel/gemma-4-31B-it-int4-AutoRound(int4、AutoRound)。API はモデル名しか返さないので、nishio に確かめた(2026-11-11)
- 合格ラインの案: gpt-4o に対する勝ち点が 0.5 以上、かつ入出力例の写しと、止まらない繰り返しが 0 件
| モデル | 勝ち・負け・引き分け | 勝ち点(95% 区間) | 入出力例の写し | 60 件の所要時間 |
|---|---|---|---|---|
| gemma-4-31B | 40・9・11 | 0.76(0.66〜0.85) | 0 | — |
| gemma-4-E4B | 33・12・15 | 0.68(0.57〜0.78) | 0 | 51 分 |
| gemma-4-E2B | 26・21・13 | 0.54(0.42〜0.66) | 0 | 25 分 |
| ELYZA-JP-8B | 10・39・11 | 0.26(0.17〜0.36) | 5 | 72 分 |
| gemma-4-12B | 34・8・18 | 0.72(0.62〜0.81) | 0 | 108 分 |
| gemma-4-26B-A4B | 未計測(下記) |
- gpt-4o 並み以上と言えるのは E4B まで。区間の下限が 0.5 を超えたのは 31B・12B・E4B だった
- 12B は E4B と 31B の間(0.72)。60 件中 13 件で説明欄の繰り返しが上限まで続いたが、
problemsは閉じていて全件取り出せた。そのため「止まらない繰り返し」は出力の欠けにはならず、所要時間(1 件が上限に達するまで約 10 分)にだけ響いた- 負けた側の型:gpt-4o 側は取りこぼし 13・強め 10・意味の変化 10、12B 側は足し 6・強め 5
- 26B-A4B は未計測。12B の後に始めたが、マシンのメモリが足りなくなって生成が止まり、0 件で終わった
- E2B は gpt-4o とほぼ互角で、壊れた出力は無かった
- 負け方は、主な問題の取りこぼし 10、解決策の言い換え 7
- 意味を逆にした例もあった(「国産技術に固執しすぎる懸念」を「海外技術に依存しすぎ」と書いた)
- ELYZA-JP-8B は gpt-4o より明らかに劣る
- 60 件中 5 件で、プロンプトの入出力例にある「高齢者の孤立」の文を、関係の無い PR に差し込んだ
- 同じ型の写しは extraction-faithfulness-public-models-2026-10-08 でも別のモデルで出ている
- 勝ち点は 31B 0.76 → 12B 0.72 → E4B 0.68 → E2B 0.54 と、大きさの順に下がった。ただし 60 件では隣どうしの区間が重なる
- 31B も含めて、どのモデルも 4 ビット前後に量子化した状態での値である。大きさの順は 4 ビット前後どうしの比較で、量子化しない場合との差は測っていない。自治体の PC で動かすときも 4 ビット前後が普通なので、#471 の問いにはこの条件が近い
温度 0 での繰り返しのループ
全件の抽出し直し(team-mirai-2025-open-dataset)では、gemma-4-31B の出力の 500 / 9,688 件(5%)が JSON として読めなかった。
- 原因
- 5 件を温度 0 で再現すると、5 件とも
problemsは最後まで正常に書けていた - その後の自由記述の
explanationで、英語の定型文(“Therefore, these points were extracted as the core … problems …”)か全角スペースを延々と繰り返し、出力の上限 2,048 トークンで切れて JSON が閉じなかった - 温度 0 は毎回もっとも確率の高い語を選ぶので、同じ入力ならループしやすい。ただし必ず再現するわけではない。500 件を温度 0 のまま送り直すと、ループしたのは 300 件で、200 件は普通に終わった。配信側で他の依頼と同じ組で処理されることなどで、温度 0 でも出力が揺れるとみられる
- 本文の有無や入力の長さとは関係が無かった
- 5 件を温度 0 で再現すると、5 件とも
- 直し方(nishio 判断)
- 温度を上げてやり直すと、その 5% の行だけ条件が変わる
- そこで温度 0 のまま送り直し、切れた出力から閉じている
problemsの配列だけを取り出すことにした。説明欄はデータに載せないので、失うものは無い - 結果:全 9,688 件が温度 0 にそろった。300 件は切れた出力から取り出し、200 件は普通に終わった。課題は計 35,393 件で、課題が 1 件も無い PR は 119 件
- 小さいモデルの測定のスクリプトも、同じやり方に直した。12B もこのループが多く、CPU では 1 件が上限に達するまで約 10 分かかる
- 広聴AI 本体への示唆
- 本体の意見抽出の出力形式には自由記述の欄が無いので、起きにくい
- ラベル付けの
descriptionは自由記述なので、ローカル LLM を温度 0 で使うと同じループが起きうる - ローカル LLM 向けには、出力の上限と、切れた出力からの取り出しか、繰り返しへの罰則のどちらかを用意しておくのがよい
追試に使える材料(結果 5・6)
結果 5 と 6 の判定材料と判定結果、スクリプトは、Hugging Face のデータセットの experiments/step1-local-llm-2026-11/ に載せた(team-mirai-2025-open-dataset、commit 8710909)。公開した後に取り直して、公開データだけから判定に渡した組と対応表が 1 バイトも違わずに作れること、勝ち点が上の表と同じになることを確かめた。
- 載せたもの
- 判定役が見た組(
pairs) - どちらがどのモデルかの対応表(
key.json) - 判定(
verdicts) - 判定役への指示の全文(日本語。ファイルの場所だけ伏せ字)
- 小さいモデルの出力
- 組を作るスクリプト・集計のスクリプト・CPU で抽出し直すスクリプト
- 訂正前の 12 組の組と判定(
superseded-before-temp0-redo/)
- 判定役が見た組(
- 再現の条件
- 標本:本文が入っていた 1,105 件の PR 番号を小さい順に並べて
random.Random(0).sample(…, 200)。結果 6 はその先頭 60 件 - 抽出:当時のプロンプトをそのまま、
json_schemaの strict、temperature 0、seed 0、出力の上限 2,048 トークン、gemma-4 は thinking を切る(CPU の gemma-4 は要求ごとにchat_template_kwargs: {enable_thinking: false}。31B は配信側で思考しない設定で、指定は送っていない)。切れた出力はproblemsを取り出す - CPU:llama.cpp の commit
29c720e、llama-server -t 8 -c 32768 -np 4 --jinja、同時 4 件。重みのファイル名と sha256 も README に載せた - 判定:Claude Opus を Claude Code のサブエージェントとして使い、1 組 1 回、A/B の入れ替えはしていない
- 勝ち点:勝ち 1・引き分け 0.5・負け 0 の平均。PR 単位の 5,000 回のブートストラップ(
random.Random(0))で 95% 区間を出した
- 標本:本文が入っていた 1,105 件の PR 番号を小さい順に並べて
- 外からは追試できない部分
- 31B は組織内 API で動かした。重み(
Intel/gemma-4-31B-it-int4-AutoRound)は公開されているが、配信エンジンとその設定は記録していない。外の人が同じ重みで抽出し直すことはできるが、出力が一致するとは限らない。確実にできるのは、公開した出力の判定をやり直すところまで - 判定役は LLM なので、同じ指示でも判定は揺れうる
- CPU のモデルも、llama.cpp が同時に処理する組み合わせによって出力がわずかに変わりうる
- 31B は組織内 API で動かした。重み(
本体と #471 への還流(2026-11-11)
- 測った条件は「思考を止めた gemma-4」(nishio の問いで確かめた)
- CPU の gemma-4 は要求ごとに
chat_template_kwargs: {enable_thinking: false}を送った。社内 API の 31B・Qwen3.8-27B は指定なしでも思考しない設定だった(2026-11-11 に指定あり・なしで送り、どちらも思考の部分 0 文字・出力 4 トークンを確かめた)。ELYZA-JP-8B は思考しないモデル - llama.cpp では
reasoning_effort: "none"とenable_thinking: falseが同じ結果になった(gemma-4-E2B で思考 451 文字・133 トークン → 0 文字・2 トークン)。思考したままの gemma-4 の品質は測っていない
- CPU の gemma-4 は要求ごとに
- #471 にコメントした(コメント)。続けて nishio が「gpt-4o 相当なら gemma4:e4b か e2b。e4b を既定にし、速さを優先する人が e2b に変える。
reasoning_effort: "none"が適切」と書いた - 出した PR(3 本とも 2026-11-11 に nishio が main に入れた)
- #1192:docs に「ローカルLLMのモデル選び(品質の測定結果)」を足す。E4B を第一候補、ELYZA-JP-8B は入出力例の写しで非推奨
- #1193:
--profile ollamaの既定モデルを ELYZA-JP-8B から gemma4:e4b に変え、LOCAL_LLM_REASONING_EFFORTを設定したときだけreasoning_effortを送る。既定で送らないのは、値の種類が接続先で違い、受け付けない接続先(Bedrock の gpt-oss など)があるため。llama.cpp で、本体のコード経由の抽出 1 件が 322 → 57 トークン・17.2 → 4.1 秒になった。思考しない ELYZA にnoneを送ってもエラーにならなかった - #1198:
experiments/local_llm_bench/。本物のローカル LLM で CLI を最後まで走らせ、PC の情報・段ごとの時間・メモリの最大値を CSV に取る。ARM 8 コアで gemma-4-E4B の 20 件が 4.9 分・2.0GB(抽出 85 秒、初期ラベル 93 秒、統合ラベル 62 秒)。走らせて、CLI(workflow 経由)が段ごとの時間を0.0固定で書く不具合を見つけ、同じ PR で直した - #1200(進行中・未 merge):#1198 の merge と行き違いになった CodeRabbit の指摘 2 件を直す。
--nが 0 以下だと、空の入力で失敗したり、399 件で測って -1 件と記録したりしていた。同じ件数を 2 回測ると出力名がかぶり、済んだ段を飛ばした短い時間や前の回の段ごとの時間を記録しうるので、未使用の名前を選ぶようにした
- 他の環境での確認は Issue にした(nishio の方針「誰かこの環境でこういう確認を、はどんどん Issue に」)
- #471 はまだ close できない。残るのは #1195 の結果からの推奨スペックの文書。品質・モデル選び・測定スクリプト・NPU は PR と Issue に分けた
普通の PC での時間とメモリ(#1194・#1195 の検証、2026-11-11)
品質とは別に、他の環境での確認を頼んだ 2 件を katsushi2441 が同日に検証した。AMD Ryzen 7 5700X のうち 4 コア 8 スレッドだけを割り当て、GPU なし(起動ログ library=cpu)、Ollama 0.33.2、gemma4:e4b。
- #1194(思考を止める設定):
LOCAL_LLM_REASONING_EFFORT=noneなら 20 件のレポートが 11 分 51 秒で最後まで作れ、空のままでは統合ラベルの 1 回が待ち時間 300 秒を超え、50 分で中止になった。抽出の 1 回の呼び出しは 107.5 秒 → 21.1 秒。思考しない ELYZA にnoneを付けてもエラーにならない - #1195(レポート全体): main(
4f506750)のexperiments/local_llm_benchで、100 件 37.9 分・400 件 104.1 分。時間の 58〜74% が抽出(1 件約 12 秒)。分析プロセスのメモリ最大は約 2.1GB、Ollama のコンテナは 400 件直後で 8.2GiB(最大値は取れていない)。Ollama への要求 587 回はすべて 200。#1198 で直した段ごとの時間も記録された - 測った PC は全体 67GB で、コンテナに上限(Ollama 12GB・分析 4GB)を付けた。16GB の PC そのもの、ノート PC、1,000 件、workers 2 以上は測っていない
- compose の GPU 予約: 検証者は
compose.yamlの ollama の NVIDIA GPU 予約を手で外して測っていた。そのままでは GPU の無い PC で起動しないので、予約を外すcompose.cpu.yamlを足し、README の「NVIDIA GPU 必須」を「GPU で動かす場合」に限定した - これらを #471 の最終ゴール(自治体向けの PC の案内)として、
docs/self-hosting/local-llm-pc-requirements.md(メモリ 16GB 以上、100 件約 40 分・400 件約 1 時間 45 分、none必須)にまとめ、PR #1202 にした(進行中・未 merge、Closes #471)
分かったこと
- 30B 級のオープンウェイトなら、この題材では品質は既定のクラウドに劣らない。抽出は同等以上、ラベルは具体性で上回った。ただしローカル側は強い言い方・意見に無い軸を足す方向に、gpt-4o-mini は漠然・論点の取りこぼしの方向に外れる。負け方の型が違うので、「どちらが良いか」は利用者が見出しに何を求めるかで変わる(label-quality の「全体傾向を歪めず少数軸も保持する」契約に照らすと、言い過ぎも取りこぼしも違反)
- gpt-4o-mini も正解ではない。抽出の空・まずい分割、ラベルの少数話題の格上げで負けている。基準モデルに似ているかでなく、2 案のどちらが良いかで比べる形にしたのは正しかった
- Issue #471 の本題には、まだ答えていない。測ったのはサーバーで動く 27〜31B で、普通の PC で動く 8B 級(ELYZA-JP-8B、gemma4:e4b など)ではない(初版時点。下の 3 項で追記)
- (追記)普通の PC で動く大きさでも、この題材では品質が gpt-4o-mini に劣らなかった。gemma-4-E4B は抽出 14 勝 6 敗、ラベルの勝ち点 0.67 で、ラベルの区間の下限が 0.5 を超えたのはこのモデルだけだった。#471 の候補としては、ELYZA-JP-8B より gemma-4-E4B を先に勧める
- (追記)大きいほど良い、とはならなかった。26B-A4B はラベルで長く強い表札を作って負け越した。12B は抽出で最も負けが少なかった。ただしラベルの区間は全モデルで重なっていて、40 クラスタでは順位を付けられない。言えるのは「どれも大きく劣りはしない」と「モデルごとの外れ方の型」まで
(追記)長い元の文からの抽出では、差が大きく出た(撤回。結果 4 の冒頭を参照)。結果 1〜3 の抽出は、短い 1 文からもう一度取り出す易しい条件で、半分ほどが gpt-4o-mini と同じ出力になっていた。元の PR から取り出す段では、gemma-4-31B が当時の gpt-4o に 171 勝 4 敗だった。#471 の「自治体の自由記述を手元で処理できるか」に近いのはこちらの条件で、小さいモデルもこの条件で測る必要がある(追記)長い入力では、普通の PC で動く gemma-4-E4B が実用の水準だった(撤回。gpt-4o との比較が誤っていた。出力の壊れが 198 件で 0 だったことと、ELYZA の入出力例の写しが 14% に増えたことは残る)。元の PR からの抽出で当時の gpt-4o に 166 勝 16 敗、出力の壊れは 198 件で 0 だった。ELYZA-JP-8B は入出力例を写す誤りが 14% に増え、勧められない。#471 の推奨の第一候補は gemma-4-E4B でよいと考える。速度は別の問題で、このマシンの CPU では長い入力 1 件に約 5 分かかった- (追記)勝敗の数に出にくい失敗がある。ELYZA-JP-8B の例文の写しは 200 件中 2 件だが、存在しない意見をレポートに混ぜる。受け入れ基準には、勝ち点とは別に「入力に無い内容を出した件数 0」のような禁止条件が要る
評価方法として残ったこと
今回の形(基準モデルとの出どころを伏せた 2 案比較、同一・句読点だけの差は自動で引き分け、ラベルは順を入れ替えた 2 回で一致したものだけ数える、負けた側の型をタグで残す)で、向きと失敗の型は取れた。足りないのは次の 3 つ。
- 人の判定での較正。判定役の 2 回の一致が 67% で、この勝敗をそのまま合否には使えない。同じ 120 組を人が出どころを伏せて A/B で判定し、判定役がそれをどれだけ再現するかを見る段が要る(human-pairwise-label-preference-experiment-2026-06-02 の設計そのもの)
- 境界の規則。抽出で「求められている」→「すべき」を同義とするか強めとするかを、判定役が文ごとに決めていた。判定基準の文に例つきで書く
- (追記)結果 3 で、次の 3 つを書き足した
- 「求められている/必要がある」→「すべき」は負けにしない
- 現状の指摘を「〜すべき」に変えるのは強めとして負け
- 「と感じている」を落とすのは軽い強め
- (追記)結果 3 で、次の 3 つを書き足した
- 受け入れ基準の形。案は「基準モデルに対して劣らない」。抽出は「判定した組でローカルの負けが基準の負け以下、かつ様相の強めが一定件数以下」、ラベルは「順を入れ替えた 2 回で勝ち点 0.5 以上」。数値のしきい値は人の較正の後に決める
次に見ること
8B 級(ELYZA-JP-8B、gemma4:e4b)を同じ足場で回す→ 同日に実施(結果 3)元の PR からの抽出(結果 4)を gemma-4-E4B・ELYZA-JP-8B・12B でも回す→ 同日に実施(結果 4 の追加分)- (2026-11-11)どこまで小さいモデルで足りるか → 結果 6(26B-A4B はメモリ不足で未計測)
- 入出力例の写しを防ぐ手当て(入出力例を入力と取り違えにくい書き方にする、出力に入出力例と同じ文があれば弾く)と、説明欄の繰り返しを防ぐ手当て(説明欄をなくす、繰り返しへの罰則を付ける)を、広聴AI 本体のプロンプトと検査に入れるか検討する
- 本文入りの長い入力で比べたいなら、基準側(gpt-4o など)も同じ長い入力で作り直す。公開データの基準はそのまま使えない
- 26B-A4B の長い表札が、プロンプトに文字数の目安を足すだけで直るかを確かめる
- 人の較正には、120 組すべてではなく、モデル間で結論が割れた組(26B-A4B と E4B の負け方の違いが出るもの)を優先して入れる
- Qwen の「〜すべき」への強めが、入出力例の 1 か所を直すだけで消えるかを、この題材で確かめる
- 120 組のラベル判定を人が行う(nishio)。判定役との一致率を出す
- (2026-11-11)#1192・#1193・#1198 は main に入った。#1200 の merge と、#1194・#1195 の結果を待つ。#1195 の結果が集まったら推奨スペックの文書を書き、#471 を閉じる
#1192 のページの「LocalLLM には思考を止める設定がまだ無い」は、#1193 が merge されたら設定の案内に直す→ merge 前に.envのLOCAL_LLM_REASONING_EFFORT=noneの案内に直してから入った
Open Questions
- 入力が gpt-4o で整えた短い 1 文なので、抽出の差は小さく出やすい。生の自由記述(パブコメなど)で同じ比較をすると差が広がるか(結果 4 は入力の食い違いで撤回。なお PR 自体も AI インタビュアーが書いた文章で、市民の生の声ではない)
- ラベルは下位クラスタの初期ラベルだけを見た。上位 20 の統合ラベルと全体の概要文は比べていない
Updates
- 2026-11-10: 初版作成
- 2026-11-10: 結果 3 を追加した
- ELYZA-JP-8B・gemma-4-E4B・12B・26B-A4B を足した
- 抽出の判定基準に境界の規則を書き足し、全モデルを判定し直した
- ラベルの勝ち点に 95% 区間を付けた
- summary と「分かったこと」を更新した
- 2026-11-10: 結果 4 に、小さいモデル(gemma-4-E4B 198 件、ELYZA-JP-8B・gemma-4-12B 各 66 件)を足した。summary・「分かったこと」・「次に見ること」を更新した
- 2026-11-10: 結果 4 を追加した。nishio の指摘を受け、元の PR からの抽出(1. の段)を gemma-4-31B で測った。summary・「分かったこと」・Open Questions・「次に見ること」を更新した
- 2026-11-11: 結果 6(小さいモデルの測定の途中経過、量子化、温度 0 での繰り返しのループと直し方)を追加
- 2026-11-11: 結果 5(本文が同じ入力での 31B 対 gpt-4o、141 勝 19 敗)を追加し、summary を更新した
- 2026-11-10: 結果 4 の勝敗を撤回した。nishio の指摘で調べ直し、gpt-4o が見た当時の PR データでは本文の 77% が空で、ローカル側だけに本文入りの長い入力を渡していたと分かった。summary・「分かったこと」・「次に見ること」・Open Questions を直した
- 2026-11-10: 撤回の根拠(
bodyの項目の欠落、収集時刻と抽出時刻の一致、言い回しの照合)を書き足した。本文が抜けた入力でのやり直しはしないことにした(nishio 判断) - 2026-11-11: 「次に見ること」に、小さいモデルの測定(実行中)の条件と基準を追記
- 2026-11-11: 温度 0 で送り直した 500 件の結果を追記した(300 件は再びループ、200 件は普通に終わった)。「ループは必ず再現する」を訂正した
- 2026-11-11: 結果 6 に gemma-4-12B(34 勝 8 敗、勝ち点 0.72)を足した。26B-A4B はメモリ不足で生成が止まり未計測
- 2026-11-11: 「本体と #471 への還流」の節を足した(思考の条件、#471 へのコメント、PR #1192・#1193・#1198、Issue #1194〜#1196、close の判断)。再現の条件に、31B は配信側で思考しないことを書き足した
- 2026-11-11: 31B の重みが
Intel/gemma-4-31B-it-int4-AutoRoundだと分かった(nishio)。量子化と追試の記述を直した - 2026-11-11: 結果 5 の 12 組(温度 0 での送り直し前の出力で判定していたもの)を判定し直した(141 勝 19 敗→143 勝 18 敗)。条件の古い記述(temperature 0.7 でのやり直し)を直し、「追試に使える材料」の節を足した。判定材料一式を Hugging Face に載せた
- 2026-11-14: #1192・#1193・#1198 が main に入ったことを反映し、#1198 の残りの指摘を直す #1200 を足した
- 2026-11-14: 「普通の PC での時間とメモリ」の節を足した(katsushi2441 による #1194・#1195 の検証、PR #1202)。#1200 は main に入った
- 2026-11-15: PR #1202 の CI が通り(build・CodeQL 成功、CodeRabbit は指摘なしの neutral)、未解決の指摘もないことを確認した。merge すると #471 が閉じるので、merge は nishio の判断待ち。GPU の無い PC で
compose.cpu.yamlを重ねた実際の起動は未確認(docker compose configでの展開だけ確認)