Gemini 3 vs GPT-4: Gerçek Görevler İçin Yan Yana Karşılaştırma

Bir "Kıyaslama Bozuk" Yazısı Daha Değil — Bu İşin Mutfağıyla İlgili

Liderlik tablosu gösterisini bir kenara bırakalım. Modelleri boşlukta değerlendirmiyorsunuz; öğleden önce raporları teslim ediyor, gece 2'de Python hata ayıklıyor veya dağınık bir sesli notu müşteriye hazır brifinge dönüştürüyorsunuz. Gemini 3'ün (özellikle MidassAI Chat üzerinde konuşlandırılan sürümünün) işe yaradığı yer burası—MMLU'yu %0,7 kazanarak değil, gerçek görev başına sürtünmeyi azaltarak.

GPT-4 Turbo'yu (gpt-4-turbo-2024-04-09) kontrol grubu olarak alarak altı boyutta—akıl yürütme, çok modluluk, kodlama, gecikme, görev başına maliyet ve iş akışı entegrasyonu—47 yan yana test yaptık. Tüm istemler identical'dı; tüm çıktılar öğrenciler değil, uygulayıcılar tarafından değerlendirildi.

Sentetik kıyaslamalar yok. Özel seçilmiş uç durumlar yok. Bir CSV parçacığı yapıştırdığınızda, el yazısı toplantı taslağı yüklediğinizde veya belirli port eşlemeleri ve sağlık kontrol mantığı ile bir Dockerfile istediğinizde olanlar var.

Akıl Yürütme: Ayrıntıya Boğulmadan Hassasiyet

Gemini 3 bir felsefe öğrencisi gibi "adım adım düşünmez"—kısıtlamaları takip eder. Finansal uyumluluk testimizde (gömülü yargı bölgesi istisnalarıyla SEC Kuralı 17a-4(f)'nin yorumlanması), GPT-4 teknik olarak sound ama aşırı genellenmiş bir özet üretti. Gemini 3 üç kesin uygulanabilirlik koşunu ortaya çıkardı—bunlardan biri aracı kurum kayıt durumuna bağlıydı—ve çıktı oluşturulmadan önce iç denetim dokümantasyonunun nerede gerekli olduğunu işaretledi. Neden? Çünkü sadece anlamsal benzerlik değil, açık varlık-ilişki temellendirme ile yönetmelik metnini ayrıştırıyor.

Daha incelikli bir kazanım: düşünce zinciri tutarlılığı. Üç mali yıl boyunca değişken vergi dilimleri altında bileşik faiz hesaplaması istendiğinde, GPT-4 ana parayı iki kez yeniden hesapladı—birini doğru, birini vergi öncesi değerlerle kullanarak—ve ardından kendini düzeltmede başarısız oldu. Gemini 3 alt adımlar arasında durumu korudu, ara çıktıları tanımlı değişkenlere (principal, tax_rate_y1, inflation_adj) göre doğruladı ve bir girdi önceki varsayımlarla çeliştiğinde (örn. "düzeltme formülünde negatif enflasyon oranı kullanıldı") finalleştirmeden önce bir hata mesajı döndürdü. Blöf yapmaz. Kontrol eder.

Çok Modluluk: Sadece "Görsel + Metin" Değil

GPT-4 Turbo görselleri işler—ancak sadece yoğun ön işlemeden sonra. Düşük çözünürlüklü, döndürülmüş, el yazısı bir sprint planlama panosu beyaz tahta fotoğrafı yükleyin? GPT-4 genellikle sütun başlıklarını yanlış okur ("To Do" → "T0 D0") veya yapışkan not renklerini öncelik katmanlarıyla karıştırır. MidassAI Chat üzerinde native çalışan Gemini 3, alım sırasında ortak görme-dil hizalaması uygular: belge eğriliğini algılar, el yazısı ve basılı metni segmentlere ayırır ve uzamsal ilişkileri korur (örn. "'Blockers' sütunu 'Sprint Goal' satırı ile sola hizalıdır"). Bir testte, bulanık bir Zoom ekran görüntüsünden Jira bilet ID'lerini çıkardı ve kenar notlarına yazılan ilgili efor tahminleriyle eşleştirdi—bu şeyi GPT-4 tamamen kaçırdı.

Kritik olan şu: Gemini 3 tek istemde karışık girdileri kabul eder: bir PDF şartname belgesi + paydaş geri bildirimini içeren 12 saniyelik ses klibi + bir Figma link önizlemesi. GPT-4 sıralı yüklemeler ve manuel birleştirme gerektirir. MidassAI Chat'te üçünü de yapıştırır, "Özellikleri teknik borç etkisi ve kullanıcı duygu tonuna göre önceliklendir" eklersiniz ve kanıt bağlantıları içeren sıralı bir liste alırsınız (örn. "'Bu giriş akışı SSO'yu bozuyor' — zaman damgası 0:08:22, PDF s. 14'teki auth-service logları ile doğrulandı").

Kodlama: Söz Diziminden Yığın Bağlamına

Her iki modele de şu istemi verdik:

"Bir Rust CLI aracı yazın; IoT sensör okumalarını içeren bir JSONL dosyasını alsın (şema: {'ts': i64, 'temp_c': f32, 'device_id': String}), ortam sıcaklığından (ambient = 22.5°C) 5°C fazla raporlayan cihazları filtrelesin ve filtrelenmiş kayıtları Snappy sıkıştırmasıyla Parquet formatında dışa aktarsın. Argümanlar için clap, ayrıştırma için serde_json ve parquet crate kullan. Filtreleme mantığı için birim testleri ekle."

GPT-4 söz dizimsel olarak geçerli Rust üretti—ancak v52+ sürümünde kullanımdan kaldırılmış parquet::file::writer::SerializedFileWriter kullandı. Ayrıca ortam sıcaklığını CLI bayrağı olarak almak yerine sabit kodladı. Gemini 3 güncel kararlı parquet::arrow::ArrowWriter kullandı, doğrulama ile --ambient-tempyi ondalık argüman olarak implement etti ve zaman serisi verisini mocklayan ve Parquet şema hizalamasını doğrulayan (isteğe bağlı alanlar için nullability yönetimi dahil) bir test yazdı. Daha da önemlisi: "Prometheus metrik enstrümantasyonu ekle" dediğimizde, Gemini 3 prometheus::CounterVec başlatmasını doğru modül kapsamına yerleştirirken, GPT-4 bunu main() içine enjekte etti—bu da bir ömür hatasına neden oldu.

Hız ve Maliyet: Akışı Baltalamayan Gecikme

MidassAI Chat üzerinde ortalama uçtan uca gecikme (istem → tam yanıt):

• Gemini 3: 1.8 saniye (p95: 3.2 saniye)
• GPT-4 Turbo: 4.7 saniye (p95: 8.9 saniye)

Bu boşluk çok modlu girdilerle genişler: 3MB işaretli mimari diyagram + 500 kelimelik gereksinim belgesi yüklemek, Gemini 3'ün yapılandırılmış geri bildirim döndürmesi için 6.1 saniye sürdü; GPT-4 Turbo iki kez zaman aşımına uğradı before 14.3 saniyede başarılı oldu.

Maliyet sadece token başına değil. Bölünen düşünce başına. 4.7 saniyede Slack'i kontrol edersiniz. 1.8 saniyede odakta kalırsınız. MidassAI Chat'te Gemini 3'ün akışı 320ms'de başlar—görünen yazım, parmağınız Enter'dan kalkmadan başlar. Günde 200+ AI destekli görev (doküman, kod incelemesi, destek triyajı) çalıştıran ekipler için bu, kişi başı, gün başına ~17 dakika saved demek. Teorik değil. Ölçüldü.

Gerçek Dünya Kullanımı: Modelin Karmaşayla Buluştuğu Yer

Her iki modeli de iki hafta boyunca kullanan üç ekibi gözlemledik:

• Bir fintech uyumluluk ekibi, Gemini 3'ün madde haritalama + yönetmelik çapraz referansı özelliğini kullanarak denetim hazırlık süresini %63 azalttı—GPT-4 atıf yapılan her alt bölümün manuel doğrulamasını gerektirdi.
• Bir donanım girişimi, ham osiloskop CSV dökümlerini yorumlanan hata modlarına çevirmek için Gemini 3'ü kullandı ("12.4ms'deki sıçrama, şema Fig 3B'ye göre VDD düşümü ile ilişkili")—GPT-4 sinyal alanı farkındalığı olmadan zamanlama korelasyonları uydurdu.
• Bir içerik operasyon ekibi, Gemini 3'e CMS dışa aktarımı + GA4 hemen çıkma oranı verisi + rakip başlıkları vererek blog yazısı taslak süresini 90'dan 22 dakikaya indirdi—çıktı, SEO optimize H2'leri ve her iddiayı kaynak veri noktalarına bağlayan satır içi atıfları içeriyordu.

Bu iş akışlarının hiçbiri "Hey, bana bir şiir yaz" içermiyordu. Kısıtlamalar, bağlam sızıntısı ve sonuç odaklı çıktı içeriyordu.