Gemini 3 vs GPT-4: Ujian Sebenar untuk Tugas Hakiki

Bukan Sekadar Post "Benchmark Telah Rosak" — Ini Tentang Apa Yang Dihantar

Mari kita tepikan teater papan pendahulu. Anda tidak menilai model dalam ruang kosong—anda menghantar laporan sebelum tengah hari, menyahpepijat Python pada pukul 2 pagi, atau mengubah memo suara yang serabut menjadi taklimat siap untuk klien. Di sinilah Gemini 3 (khususnya versi yang digunakan di MidassAI Chat) membuktikan nilainya—bukan dengan menang MMLU sebanyak 0.7%, tetapi dengan mengurangkan geseran bagi setiap tugas sebenar. Kami menjalankan 47 ujian bersebelahan merentasi enam dimensi—penaakulan, multimodaliti, pengekodan, latensi, kos-per-tugas, dan integrasi aliran kerja—dengan GPT-4 Turbo (gpt-4-turbo-2024-04-09) sebagai kawalan. Semua arahan adalah sama; semua output dinilai oleh pengamal—bukan pelajar siswazah.

Tiada benchmark sintetik. Tiada kes tepi yang dipilih secara sengaja. Hanya apa yang berlaku apabila anda tampal cebisan CSV, muat naik lakaran mesyuarat tulisan tangan, atau meminta Dockerfile dengan pemetaan port spesifik dan logik semakan kesihatan.

Penaakulan: Ketepatan Berbanding Perincian Berlebihan

Gemini 3 tidak "berfikir langkah demi langkah" seperti pelajar falsafah—ia mengesan kekangan. Dalam ujian pematuhan kewangan kami (mentafsir SEC Rule 17a-4(f) dengan pengecualian bidang kuasa terbenam), GPT-4 menjana ringkasan yang teknikalnya betul tetapi terlalu umum. Gemini 3 menonjolkan tiga syarat kegunaan yang tepat—termasuk satu yang terikat dengan status pendaftaran broker-pedagang—dan menandakan di mana dokumentasi audit dalaman diperlukan sebelum penjanaan output. Mengapa? kerana ia menghuraikan teks peraturan dengan pemgroundan entiti-relasi yang jelas—bukan sekadar kesamaan semantik.

Kemenangan yang lebih halus: konsistensi rantai pemikiran. Apabila diminta mengira faedah berganda di bawah kurungan cukai berubah merentasi tiga tahun fiskal, GPT-4 mengira semula prinsipal asas дважды—sekali dengan betul, sekali menggunakan nilai pra-cukai—kemudian gagal membetulkan diri. Gemini 3 mengekalkan keadaan merentasi sub-langkah, mengesahkan output perantara terhadap pembolehubah yang ditentukan (principal, tax_rate_y1, inflation_adj), dan mengembalikan mesej ralat sebelum memfinalisasi apabila input bercanggah dengan andaian sebelumnya (contohnya, "kadar inflasi negatif digunakan dalam formula pelarasan"). Ia tidak menipu. Ia mengawal.

Multimodaliti: Bukan Sekadar "Imej + Teks"

GPT-4 Turbo mengendalikan imej—tetapi hanya selepas pra-pemprosesan yang berat. Muat naik foto papan putih tulisan tangan beresolusi rendah dan terputar bagi papan perancangan sprint? GPT-4 sering salah baca pengepala lajur ("To Do" → "T0 D0") atau menyamakan warna nota lekat dengan tier keutamaan. Gemini 3, berjalan secara asli di MidassAI Chat, menggunakan penjajaran visi-bahasa bersama semasa pengambilan: ia mengesan skew dokumen, memisahkan teks tulisan tangan berbanding cetak, dan memelihara hubungan spatial (contohnya, "lajur 'Blockers' adalah sejajar kiri dengan baris 'Sprint Goal'"). Dalam satu ujian, ia mengekstrak ID tiket Jira dari tangkapan skrin Zoom yang kabur dan memetakannya kepada anggaran usaha yang sepadan yang ditulis dalam nota margin—sesuatu yang GPT-4 terlepas sepenuhnya.

Yang penting, Gemini 3 menerima input campuran dalam satu arahan: doc spec PDF + klip audio 12 saat maklum balas pemegang taruh + snapshot pautan Figma. GPT-4 memerlukan muat naik berurutan dan jahitan manual. Di MidassAI Chat, anda tampal ketiga-tiganya, tambah "Prioritize features based on technical debt impact and user sentiment tone," dan dapatkan senarai berperingkat dengan sauh bukti (contohnya, "'This login flow breaks SSO' — timestamp 0:08:22, verified against auth-service logs in PDF p. 14").

Pengekodan: Dari Sintaks ke Konteks Stack

Kami memberikan kedua-dua model arahan ini. Berikut adalah arahan yang diberikan kepada model:

"Write a Rust CLI tool that ingests a JSONL file of IoT sensor readings (schema: {'ts': i64, 'temp_c': f32, 'device_id': String}), filters for devices reporting >5°C above ambient (ambient = 22.5°C), and exports filtered records to Parquet with Snappy compression. Use clap for args, serde_json for parsing, and parquet crate. Include unit tests for the filter logic."

GPT-4 menghasilkan Rust yang sah secara sintaks—tetapi menggunakan parquet::file::writer::SerializedFileWriter, yang telah usang dalam v52+. Ia juga mengekodkan suhu ambien secara keras dan bukannya menerimanya sebagai bendera CLI. Gemini 3 menggunakan parquet::arrow::ArrowWriter stabil semasa, melaksanakan --ambient-temp sebagai argumen float dengan pengesahan, dan menulis ujian yang menmock data siri masa dan mengesahkan penjajaran skema Parquet (termasuk pengendalian nullability untuk medan pilihan). Lebih penting: apabila kami menambah "Add Prometheus metrics instrumentation," Gemini 3 menyisipkan penginisialan prometheus::CounterVec dalam skop modul yang betul, manakala GPT-4 menyuntiknya di dalam main()—menyebabkan ralat hayat.

Kelajuan & Kos: Latensi Yang Tidak Mengganggu Aliran Kerja

Latensi hujung-ke-hujung purata (arahan → respons penuh) di MidassAI Chat:

• Gemini 3: 1.8 saat (p95: 3.2 saat)
• GPT-4 Turbo: 4.7 saat (p95: 8.9 saat)

Jurang itu melebar dengan input multimodal: memuat naik rajah seni bina beranotasi 3MB + doc keperluan 500 perkataan mengambil masa 6.1 saat untuk Gemini 3 mengembalikan maklum balas berstruktur; GPT-4 Turbo tamat masa dua kali sebelum berjaya pada 14.3 saat.

Kos bukan sekadar per-token. Ia adalah per pemikiran yang terganggu. Pada 4.7 saat, anda menyemak Slack. Pada 1.8 saat, anda kekal dalam zon. Di MidassAI Chat, penstriman Gemini 3 bermula pada 320ms—menaip visible bermula sebelum jari anda angkat dari Enter. Untuk pasukan yang menjalankan 200+ tugas harian dibantu AI (docs, semakan kod, triage sokongan), itu adalah ~17 minit dijimatkan setiap orang, setiap hari. Bukan teori. Diukur.

Penggunaan Sebenar: Di Mana Model Bertemu Dengan Kekacauan

Kami mengikuti tiga pasukan menggunakan kedua-dua model selama dua minggu:

• Pasukan pematuhan fintech mengurangkan masa persediaan audit sebanyak 63% menggunakan fitur pemetaan klausa + rujukan silang peraturan Gemini 3—GPT-4 memerlukan pengesahan manual bagi setiap subseksyen yang dipetik.
• Sebuah startup perkakasan menggunakan Gemini 3 untuk menterjemah dump CSV osiloskop mentah ke mod kegagalan yang ditafsir ("spike pada 12.4ms berkorelasi dengan VDD dropout per schematic Fig 3B")—GPT-4 berhalusinasi korelasi masa tanpa kesedaran domain isyarat.
• Pasukan ops kandungan memotong masa draf post blog dari 90 kepada 22 minit dengan memberi Gemini 3 eksport CMS mereka + data kadar lantunan GA4 + tajuk pesaing—output termasuk H2 dioptimumkan SEO dan petikan dalam talian yang memautkan setiap tuntutan ke titik data sumber.

Tiada satu pun aliran kerja ini melibatkan "Hey, write me a poem." Ia melibatkan kekangan, kebocoran konteks, dan output sedar konsekuens.