Gemini 3 vs GPT-4：実務タックル徹底比較 | MidassAI Chat

「ベンチマークは壊れている」ポストの繰り返しではありません — これは実際の成果についてです

リーダーボードの茶番はもう終わりにしましょう。モデルを真空状態で評価しているのではありません。正午前にレポートを納品し、凌晨 2 時に Python をデバッグし、雑多な音声メモをクライアント向けのブリーフィングに仕上げているのです。そこで Gemini 3（具体的には MidassAI Chat にデプロイされたバージョン）が真価を発揮します。MMLU で 0.7% 勝つことではなく、実際のタスクにおける摩擦を減らす ことで価値を生むのです。

推論、マルチモーダル、コーディング、レイテンシ、タスクあたりのコスト、ワークフロー統合の 6 つの次元で 47 件の並行テストを実施し、GPT-4 Turbo (gpt-4-turbo-2024-04-09) を対照群としました。プロンプトはすべて同一です。出力はすべて大学院生ではなく、実務家によって評価されました。

合成ベンチマークはありません。都合の良いエッジケースの選別もありません。CSV スニペットを貼り付けたり、手書きの会議スケッチをアップロードしたり、特定のポートマッピングとヘルスチェックロジックを含む Dockerfile を求めたりした時に何が起こるか。それだけです。

推論：細こましさよりも精度

Gemini 3 は哲学の学生のように「ステップバイステップで考える」わけではありません。制約を追跡 します。財務コンプライアンステスト（管轄権の例外が埋め込まれた SEC Rule 17a-4(f) の解釈）では、GPT-4 は技術的には正確ですが一般化されすぎた要約を生成しました。Gemini 3 は 3 つの正確な適用条件を表面化し、そのうち 1 つはブローカー - デーラーの登録ステータスに関連するもので、出力生成前 に内部監査文書が必要となる箇所をフラグ付けしました。なぜか？セマンティックな類似性だけでなく、明示的なエンティティ - 関係グラウンディングで規制テキストを解析するからです。

さらに微妙な勝ち点：思考の連鎖（chain-of-thought）の一貫性 です。3 事業年度にわたる変動する税額控除枠での複利計算を求めた際、GPT-4 は元本を 2 回再計算しました（1 回は正しく、1 回は税引前値を使用）、そして自己修正に失敗しました。Gemini 3 はサブステップ間で状態を維持し、中間出力を定義された変数（principal, tax_rate_y1, inflation_adj）に対して検証し、入力値が以前の前提と矛盾した場合（例：「調整式で負のインフレ率が使用された」）、最終確定前 にエラーメッセージを返しました。嘘をつきません。ゲートします。

マルチモーダル：単なる「画像 + テキスト」ではない

GPT-4 Turbo は画像を処理できますが、重い前処理が必要です。解像度が低く、回転しており、手書きのホワイトボード写真（スプリント計画ボード）をアップロードするとどうなるか？GPT-4 は列ヘッダーを誤読したり（「To Do」→「T0 D0」）、付箋の色を優先度ティアと混同したりすることがよくあります。MidassAI Chat でネイティブに動作する Gemini 3 は、取り込み段階 で joint vision-language alignment を適用します。ドキュメントの傾きを検出し、手書きテキストと印刷テキストをセグメント化し、空間関係を保持します（例：「『Blockers』列は『Sprint Goal』行と左揃えされている」）。

あるテストでは、ぼやけた Zoom スクリーンショットから Jira チケット ID を抽出し、余白メモに書かれた対応する工数見積もりとマッピングしました。これは GPT-4 が完全に見過ごしたものです。

重要なのは、Gemini 3 が1 つのプロンプトで混合入力を受け入れることです。PDF 仕様書 + 利害関係者のフィードバックを含む 12 秒のオーディオクリップ + Figma リンクのスナップショット。GPT-4 は連続アップロードと手動の結合が必要です。MidassAI Chat では、これら 3 つを貼り付け、「技術的負債の影響とユーザー感情のトーンに基づいて機能を優先順位付けしてください」と追加するだけで、証拠アンカー付きのランキングリストが得られます（例：「『このログインフローは SSO を壊す』— タイムスタンプ 0:08:22、PDF 14 ページの auth-service ログで検証済み」）。

コーディング：構文からスタックコンテキストへ

両モデルにこのプロンプトを与えました：

"Write a Rust CLI tool that ingests a JSONL file of IoT sensor readings (schema: {'ts': i64, 'temp_c': f32, 'device_id': String}), filters for devices reporting >5°C above ambient (ambient = 22.5°C), and exports filtered records to Parquet with Snappy compression. Use clap for args, serde_json for parsing, and parquet crate. Include unit tests for the filter logic."

GPT-4 は構文的に有効な Rust を生成しましたが、v52+ で非推奨となった parquet::file::writer::SerializedFileWriter を使用しました。また、環境温度を CLI フラグとして受け入れる代わりにハードコードしました。Gemini 3 は現在の安定版 parquet::arrow::ArrowWriter を使用し、--ambient-temp を検証付きの float 引数として実装し、時系列データをモックし、Parquet スキーマの整合性（オプションフィールドの nullability 処理を含む）を検証するテストを書きました。

さらに重要なのは、「Prometheus メトリクス計装を追加してください」と追加した際、Gemini 3 は prometheus::CounterVec の初期化を正しいモジュールスコープに挿入しましたが、GPT-4 は main() 内に注入し、lifetime エラーを引き起こしました。

速度とコスト：フローを阻害しないレイテンシ

MidassAI Chat での平均エンドツーエンドレイテンシ（プロンプト→完全な応答）：

• Gemini 3: 1.8 秒（p95: 3.2 秒）
• GPT-4 Turbo: 4.7 秒（p95: 8.9 秒）

この差はマルチモーダル入力で広がります。3MB の注釈付きアーキテクチャ図 + 500 語の要件ドキュメントをアップロードすると、Gemini 3 は構造化されたフィードバックを返すのに 6.1 秒かかりました。GPT-4 Turbo は 2 回タイムアウトし、14.3 秒でようやく成功しました。

コストはトークンあたりだけではありません。中断された思考 あたりです。4.7 秒なら Slack をチェックします。1.8 秒ならゾーンに残れます。MidassAI Chat では、Gemini 3 のストリーミングは 320ms で開始します。指が Enter から離れる前に可視的なタイピングが始まります。1 日 200 件以上の AI 支援タスク（ドキュメント、コードレビュー、サポートトリアージ）を実行するチームにとって、それは1 人あたり、1 日あたり 約 17 分の節約になります。理論ではありません。測定済みです。

実世界での使用：モデルが混沌と出会う場所

2 週間、両モデルを使用する 3 つのチームに同行しました：

• FinTech コンプライアンスチームは、Gemini 3 の条項マッピング + 規制クロスリファレンス機能を使用して、監査準備時間を 63% 削減しました。GPT-4 は引用されたすべてのサブセクションの手動検証を必要としました。
• ハードウェアスタートアップは、Gemini 3 を使用して、生のオシロスコープ CSV ダンプを解釈された故障モードに変換しました（「12.4ms のスパイクは回路図 Fig 3B に従って VDD ドロップアウトと相関」）。GPT-4 は信号ドメインの認識なしにタイミング相関をハルシネーションしました。
• コンテンツ運用チームは、CMS エクスポート + GA4 直帰率データ + 競合他社の見出しを Gemini 3 に供給することで、ブログ記事の起草時間を 90 分から 22 分に短縮しました。出力には SEO 最適化された H2 と、各主張ソースデータポイントにリンクするインライン引用が含まれていました。

これらのワークフローのいずれも「ねえ、詩を書いて」といったものではありませんでした。制約、コンテキストリーク、結果を認識した出力 が関わっていました。