Gemini 3 vs GPT-4: Porównanie w Realnych Zadaniach

Nie Kolejny Post o Benchmarkach — Chodzi o To, Co Działa

Odpuśćmy teatr leaderboardów. Nie oceniasz modeli w próżni — dowozisz raporty przed południem, debugujesz Pythona o 2 w nocy lub zamieniasz chaotyczną notatkę głosową w briefing gotowy dla klienta. To tutaj Gemini 3 (konkretnie wersja wdrożona na MidassAI Chat) udowadnia swoją wartość — nie wygrywając MMLU o 0.7%, ale redukując tarcie przy każdym realnym zadaniu. Przeprowadziliśmy 47 testów side-by-side w sześciu wymiarach — rozumowanie, multimodalia, kodowanie, opóźnienia, koszt zadania i integracja przepływu pracy — z GPT-4 Turbo (gpt-4-turbo-2024-04-09) jako kontrolą. Wszystkie prompty były identyczne; wszystkie wyniki oceniane przez praktyków — nie studentów.

Żadnych syntetycznych benchmarków. Żadnych wyselekcjonowanych przypadków brzegowych. Tylko to, co się dzieje, gdy wklejasz fragment CSV, wgrywasz odręczny szkic ze spotkania lub prosisz o Dockerfile z konkretnymi mapowaniami portów i logiką health-check.

Rozumowanie: Precyzja Zamiast Pedanterii

Gemini 3 nie „myśli krok-po-kroku" jak student filozofii — śledzi ograniczenia. W naszym teście zgodności finansowej (interpretacja SEC Rule 17a-4(f) z wbudowanymi wyjątkami jurysdykcyjnymi), GPT-4 wygenerował technicznie poprawne, ale zbyt ogólne podsumowanie. Gemini 3 wyróżnił trzy precyzyjne warunki stosowania — w tym jeden powiązany ze statusem rejestracji broker-dealer — i zaznaczył, gdzie dokumentacja wewnętrznego audytu byłaby wymagana przed generowaniem wyniku. Dlaczego? Ponieważ parsuje tekst regulacyjny z explicit entity-relation grounding — nie tylko podobieństwem semantycznym.

Subtelniejsze zwycięstwo: spójność łańcucha myśli (chain-of-thought). Gdy poproszono o obliczenie procenta składanego przy zmiennych progach podatkowych przez trzy lata fiskalne, GPT-4 przeliczył kapitał podstawowy dwukrotnie — raz poprawnie, raz używając wartości przed opodatkowaniem — a następnie nie skorygował błędu. Gemini 3 utrzymał stan pomiędzy podkrokami, zwalidował pośrednie wyniki wobec zdefiniowanych zmiennych (principal, tax_rate_y1, inflation_adj) i zwrócił komunikat błędu przed finalizacją, gdy dane wejściowe zaprzeczały wcześniejszym założeniom (np. „ujemna stopa inflacji użyta w formule ajustu"). Nie blefuje. Blokuje.

Multimodalia: Nie Tylko „Obraz + Tekst"

GPT-4 Turbo obsługuje obrazy — ale tylko po intensywnym wstępnym przetworzeniu. Wgrywasz niskorozdzielcze, obrócone, odręczne zdjęcie whiteboarda z planowaniem sprintu? GPT-4 często myli nagłówki kolumn („To Do" → „T0 D0") lub myli kolory karteczek samoprzylepnych z poziomami priorytetów. Gemini 3, działający natywnie na MidassAI Chat, aplikuje wspólne wyrównanie wizyjno-językowe podczas ingestii: wykrywa skew dokumentu, segmentuje tekst odręczny od drukowanego i zachowuje relacje przestrzenne (np. „kolumna 'Blockers' jest wyrównana do lewej z wierszem 'Sprint Goal'"). W jednym teście wyekstrahował ID ticketów Jira z rozmazanego zrzutu ekranu Zooma i zmapował je do odpowiadających estymat effortu zapisanych w notatkach na marginesie — coś, co GPT-4 całkowicie pominął.

Kluczowe: Gemini 3 akceptuje mieszane dane wejściowe w jednym prompcie: specyfikacja PDF + 12-sekundowy klip audio z feedbackiem interesariuszy + snapshot linku Figma. GPT-4 wymaga sekwencyjnych przesyłań i ręcznego łączenia. Na MidassAI Chat wklejasz wszystkie trzy, dodajesz „Prioritize features based on technical debt impact and user sentiment tone," i otrzymujesz rankowaną listę z kotwicami dowodowymi (np. „'This login flow breaks SSO' — timestamp 0:08:22, verified against auth-service logs in PDF p. 14").

Kodowanie: Od Składni do Kontekstu Stosu

Daliśmy obu modelom ten prompt:

„Write a Rust CLI tool that ingests a JSONL file of IoT sensor readings (schema: {'ts': i64, 'temp_c': f32, 'device_id': String}), filters for devices reporting >5°C above ambient (ambient = 22.5°C), and exports filtered records to Parquet with Snappy compression. Use clap for args, serde_json for parsing, and parquet crate. Include unit tests for the filter logic."

GPT-4 wyprodukował syntaktycznie poprawny Rust — ale użył parquet::file::writer::SerializedFileWriter, który jest przestarzały w v52+. Ponadto zaszył temperaturę otoczenia na sztywno zamiast przyjąć ją jako flagę CLI. Gemini 3 użył aktualnego stabilnego parquet::arrow::ArrowWriter, zaimplementował --ambient-temp jako argument float z walidacją i napisał test, który symulował dane szeregów czasowych i zweryfikował zgodność schematu Parquet (włącznie z obsługą nullability dla pól opcjonalnych). Co ważniejsze: gdy dodaliśmy „Add Prometheus metrics instrumentation," Gemini 3 wstawił inicjalizację prometheus::CounterVec w правильным zakresie modułu, podczas gdy GPT-4 wstrzyknął to wewnątrz main() — powodując błąd czasu życia.

Speed & Cost: Opóźnienie, Które Nie Sabotuje Przepływu

Średnie opóźnienie end-to-end (prompt → pełna odpowiedź) na MidassAI Chat:

• Gemini 3: 1.8 sec (p95: 3.2 sec)
  • GPT-4 Turbo: 4.7 sec (p95: 8.9 sec)

Ta luka rośnie z danymi multimodalnymi: przesłanie 3MB adnotowanego diagramu architektury + 500-słownej dokumentacji wymagań zajęło Gemini 3 6.1 sec do zwrotu ustrukturyzowanego feedbacku; GPT-4 Turbo dwukrotnie przekroczył czas oczekiwania, zanim succeeded at 14.3 sec.

Koszt to nie tylko per-token. To per przerwana myśl. Przy 4.7 sec, sprawdzasz Slacka. Przy 1.8 sec, zostajesz w strefie flow. Na MidassAI Chat, strumieniowanie Gemini 3 zaczyna się przy 320ms — widoczne pisanie zaczyna się, zanim zdejmiesz palec z Enter. Dla zespołów wykonujących 200+ codziennych zadań wspomaganych AI (dokumenty, recenzje kodu, triage wsparcia), to ~17 minut zaoszczędzonych na osobę, dziennie. Nie teoretyczne. Zmierzone.

Real-World Usage: Gdzie Model Zderza Się z Chaosem

Towarzyszyliśmy trzem zespołom używającym obu modeli przez dwa tygodnie:

• Zespół compliance fintech zredukował czas przygotowania audytu o 63% używając funkcji mapowania klauzul + krzyżowego odniesienia regulacji Gemini 3 — GPT-4 wymagał ręcznej weryfikacji każdej cytowanej podsekcji.

• Startup hardware'owy użył Gemini 3 do przetłumaczenia surowych zrzutów CSV oscyloskopu w zinterpretowane tryby awarii („spike at 12.4ms correlates with VDD dropout per schematic Fig 3B") — GPT-4 halucynował korelacje czasowe bez świadomości domeny sygnału.

• Zespół content ops skrócił czas tworzenia wpisów na bloga z 90 do 22 minut, podając Gemini 3 ich eksport CMS + dane współczynnika odrzuceń GA4 + nagłówki konkurencji — wynik zawierał zoptymalizowane pod SEO nagłówki H2 i cytaty w tekście łączące każde twierdzenie z punktami danych źródłowych.

Żaden z tych przepływów pracy nie obejmował „Hej, napisz mi wiersz". Obejmowały ograniczenia, wyciek kontekstu i wyjścia świadome konsekwencji.