Gemini 3 проти GPT-4: Порівняння для реальних задач

Не черговий пост про «зламані бенчмарки» — мова про реальний продукт

Давайте оминемо театр лідербордів. Ви оцінюєте моделі не у вакуумі — ви готуєте звіти до обіду, дебажите Python о 2-й ночі або перетворюєте безладний голосовий нотатник на готовий для клієнта бриф. Саме тут Gemini 3 (зокрема версія, розгорнута на MidassAI Chat) виправдовує себе — не виграшем MMLU на 0.7%, а зменшенням тертя під час реальних задач. Ми провели 47 порівняльних тестів за шістьма параметрами — міркування, мультимодальність, кодинг, затримка, вартість за задачу та інтеграція у робочий процес — з GPT-4 Turbo (gpt-4-turbo-2024-04-09) як контрольною моделлю. Усі запити були ідентичними; усі результати оцінювали практики, а не аспіранти.

Жодних синтетичних бенчмарків. Жодних підібраних крайніх випадків. Лише те, що відбувається, коли ви вставляєте фрагмент CSV, завантажуєте рукописний ескіз зустрічі або просите Dockerfile з конкретними мапінгами портів та логікою перевірки стану.

Міркування: Точність понад педантичність

Gemini 3 не «міркує крок за кроком» як студент-філософ — він відстежує обмеження. У нашому тесті на фінансову відповідність (інтерпретація Правила SEC 17a-4(f) з вбудованими юрисдикційними винятками), GPT-4 згенерував технічно правильне, але надто узагальнене резюме. Gemini 3 виділив три точні умови застосування — включаючи одну, пов'язану зі статусом реєстрації брокера-дилера — і позначив, де документация внутрішнього аудиту буде потрібна до генерації виводу. Чому? Тому що він аналізує регуляторний текст з явним заземленням сутність-зв'язок — не просто семантичну схожість.

Більш тонка перевага: узгодженість ланцюжка міркувань. Коли його попросили розрахувати складні відсотки за змінних податкових ставок протягом трьох фіскальних років, GPT-4 двічі перерахував базову суму — один раз правильно, один раз використовуючи значення до оподаткування — і не зміг виправити себе. Gemini 3 зберігав стан між підкроками, перевіряв проміжні виводи проти визначених змінних (principal, tax_rate_y1, inflation_adj) і повертав повідомлення про помилку до завершення, коли вхідні дані суперечили попереднім припущенням (наприклад, «від'ємна ставка інфляції використана у формулі коригування»). Він не блефує. Він стримує.

Мультимодальність: Не просто «Зображення + Текст»

GPT-4 Turbo обробляє зображення — але лише після важкої попередньої обробки. Завантажуєте низькоякісне, перевернуте, рукописне фото дошки планування спринту? GPT-4 часто неправильно читає заголовки стовпців («To Do» → «T0 D0») або плутає кольори стікерів з рівнями пріоритету. Gemini 3, працюючи нативно на MidassAI Chat, застосовує спільне вирівнювання зір-мова під час ingestion: він виявляє перекіс документа, сегментує рукописний та друкований текст і зберігає просторові зв'язки (наприклад, «стовпець 'Blockers' вирівняний ліворуч від рядка 'Sprint Goal'»). В одному тесті він витягнув ID тікетів Jira з розмитого скріншоту Zoom і зіставив їх з відповідними оцінками зусиль, написаними на полях — те, що GPT-4 повністю пропустив.

Критично важливо: Gemini 3 приймає змішані вхідні дані в одному запиті: PDF специфікації + 12-секундний аудіокліп зі зворотним зв'язком від зацікавлених осіб + скріншот посилання Figma. GPT-4 вимагає послідовних завантажень і ручного поєднання. На MidassAI Chat ви вставляєте всі три, додаєте «Пріоритезуйте функції на основі впливу технічного боргу та тону настрою користувачів», і отримуєте ранжований список з якорями доказів (наприклад, «'Цей потік входу ламає SSO' — timestamp 0:08:22, перевірено проти логів auth-service у PDF ст. 14»).

Код: Від синтаксису до контексту стеку

Ми дали обом моделям цей запит:

"Write a Rust CLI tool that ingests a JSONL file of IoT sensor readings (schema: {'ts': i64, 'temp_c': f32, 'device_id': String}), filters for devices reporting >5°C above ambient (ambient = 22.5°C), and exports filtered records to Parquet with Snappy compression. Use clap for args, serde_json for parsing, and parquet crate. Include unit tests for the filter logic."

GPT-4 створив синтаксично валідний Rust — але використав parquet::file::writer::SerializedFileWriter, який застарів у v52+. Він також жорстко закодував температуру навколишнього середовища замість того, щоб приймати її як прапор CLI. Gemini 3 використав поточний стабільний parquet::arrow::ArrowWriter, реалізував --ambient-temp як аргумент float з перевіркою і написав тест, який імітував дані часових рядів і перевіряв узгодженість схеми Parquet (включаючи обробку nullability для необов'язкових полів). Важливіше: коли ми додали «Add Prometheus metrics instrumentation», Gemini 3 вставив ініціалізацію prometheus::CounterVec у правильній області видимості модуля, тоді як GPT-4 вставив її всередині main() — що спричинило помилку часу життя.

Швидкість та вартість: Затримка, що не руйнує потік роботи

Середня затримка end-to-end (запит → повна відповідь) на MidassAI Chat:

• Gemini 3: 1.8 сек (p95: 3.2 сек)
• GPT-4 Turbo: 4.7 сек (p95: 8.9 сек)

Цей розрив збільшується з мультимодальними вхідними даними: завантаження 3MB анотованої діаграми архітектури + документ вимог на 500 слів зайняло у Gemini 3 6.1 сек для повернення структурованого зворотного зв'язку; GPT-4 Turbo двічі отримав тайм-аут перед успіхом на 14.3 сек.

Вартість — це не лише за токен. Це за перервану думку. За 4.7 сек ви перевіряєте Slack. За 1.8 сек ви залишаєтесь у потоці. На MidassAI Chat стрімінг Gemini 3 починається за 320ms — видимий набір тексту починається, ще до того як ви приберете палець з Enter. Для команд, що виконують 200+ щоденних задач за допомогою ШІ (документи, код-рев'ю, тріаж підтримки), це ~17 хвилин економії на особу, на день. Не теоретично. Виміряно.

Реальне використання: Де модель зустрічається з безладом

Ми спостерігали за трьома командами, що використовували обі моделі протягом двох тижнів:

• Команда фінтех-відповідності скоротила час підготовки аудиту на 63% за допомогою функції зіставлення пунктів + перехресних посилань на регуляції Gemini 3 — GPT-4 вимагав ручної перевірки кожного цитованого підрозділу.
• Апаратний стартап використав Gemini 3 для перекладу сирых CSV-дампу осцилографа в інтерпретовані режими відмови («спайк на 12.4ms корелює з падінням VDD згідно зі схемою Fig 3B») — GPT-4 галюцинував часові кореляції без обізнаності домену сигналів.
• Команда контент-операцій скоротила час написання блог-постів з 90 до 22 хвилин, подавши Gemini 3 їх експорт CMS + дані показника відмов GA4 + заголовки конкурентів — вивід включав SEO-оптимізовані H2 і внутрішні цитати, що пов'язують кожне твердження з точками даних джерела.

Жоден з цих робочих процесів не включав «Гей, напиши мені вірш». Вони включали обмеження, витік контексту та вивід, обізнаний про наслідки.