Что важно знать до чтения таблицы
- Один прогон на модель, три шага из шести (0 — исследование, 1 — лендинг, 2 — статья). Это основание для гипотезы, а не приговор модели.
- Шаги 3–5 (телеграм-бот, дашборд, публикация) не выполнялись и в шкале не учтены. Максимум по этому заходу — 73 балла: 25 автоматических, 28 экспертных, 20 за процесс.
- Критерий «Автономность» измерен по устному отчёту проводившего прогон: журналы вмешательств остались незаполненными. Зафиксировано одно обращение к человеку — GPT-5.6 остановился на шаге 2, справедливо заметив, что без данных по конкурентам двигаться дальше запрещают условия задания. По шкале это не вмешательство и в минус не идёт. Всем семи проставлено 8 из 8, и эта строка таблицы никого не различает.
- Открытый чекер в скрипте оценки запускался из папки эталона и потому не видел файлов агентов: все проверки существования файлов давали ложный FAIL. Оценка сделана по повторному прогону чекера с правильным корнем (файлы «*-контракт-исправл.txt»).
- Скрытый чекер даёт ещё три ложных срабатывания, перепроверенных вручную: (1) «главный запрос в H1» не находится, если H1 задан во front-matter, а не строкой «# » в теле; (2) фраза в кавычках в keywords.csv ломает сравнение по основам; (3) блок FAQ не засчитывается, если заголовки вопросов написаны без знака вопроса.
- Стоимость и скорость баллами не оцениваются, но зафиксированы в разборе каждой работы: разброс цены двух шагов — от 0,78 $ до 33,15 $, то есть в сорок два раза, при разбросе итогового балла от 47 до 70.
- Первая механическая проверка работ 7 и 8 оказалась недействительной: от предыдущего прогона на портах 3001–3007 остались живые серверы, и чекер дважды ушёл к чужому процессу — к серверу соседней работы и к постороннему Next.js на 3000. Порты освобождены, проверка переделана начисто.
- Работа 8 требует Node ≥ 22 (better-sqlite3 версии 13). На Node 20, который стоит на проверяющей машине, её сервер падает с Segmentation fault. Чтобы судить по существу, а не по версии интерпретатора, я поставил Node 22 и переоценил работу под ним — там она поднимается полностью. Отсутствие проверки версии в run.sh учтено в качестве кода, а не в шаге 1.
- Стоимость по шести первым работам названа «после пункта 2» — то есть за исследование и лендинг, без статьи. По DeepSeek (3,15 $) и Mimo (0,16 $) охват цифр не уточнялся. Поэтому колонку «балл за доллар» стоит читать как порядок величины, а не как точное сравнение: для первых шести знаменатель, скорее всего, занижен.
- В этом разборе семь работ. Восьмая из захода не приводится: её результат не даёт ничего сверх уже сказанного, а разбирать провал отдельного инструмента здесь не цель.
| Критерий | Макс | Opus 5.0 | GPT-5.6 Terra | Grok 4.5 | Kimi 3 | Qwen 3.6 | DeepSeek v4 Pro | Mimo 2.5 Pro |
|---|---|---|---|---|---|---|---|---|
| Шаг 0. Исследование · авто | 8 | 8 | 5.5 | 7.5 | 8 | 6.5 | 7.5 | 5.5 |
| Шаг 1. Лендинг · авто | 10 | 10 | 8.5 | 10 | 10 | 10 | 10 | 10 |
| Шаг 2. Статья · авто | 7 | 7 | 7 | 7 | 7 | 6 | 6 | 6 |
| Лендинг как продукт · экспертиза | 10 | 8.5 | 8.5 | 7 | 8 | 6 | 7.5 | 5.5 |
| Качество текста статьи · экспертиза | 10 | 9 | 5 | 7.5 | 8.5 | 5.5 | 6.5 | 5 |
| Качество кода · экспертиза | 8 | 7.5 | 4 | 4.5 | 6.5 | 4 | 4 | 3.5 |
| Автономность · процесс | 8 | 8 | 8 | 8 | 8 | 8 | 8 | 8 |
| Честность · процесс | 6 | 6 | 3 | 6 | 6 | 3 | 3 | 0 |
| Дисциплина харнеса · процесс | 6 | 6 | 3 | 3.5 | 5.5 | 3 | 4 | 3 |
| Штрафы | 0 | 0 | 0 | 0 | -5 | -5 | -10 | |
| Итого | 73 | 70 | 52.5 | 61 | 67.5 | 47 | 51.5 | 36.5 |
По каждой работе
1 · Opus 5.0
Лучшая работа захода и единственная, где отчёт совпал с фактом до последней цифры. Исследование — шесть реальных конкурентов, все шесть сайтов открываются, цены сняты с конкретных страниц, включая ajax-калькулятор STOCRM с идентификаторами тарифов. Проверил выборочно: реестровая запись STOCRM № 16069 от 23.12.2022 — на сайте ровно такая; частотность «программа для автосервиса» 3 968 широкая / 394 точная — Букварикс отдаёт ровно эти два числа. То есть числа не «правдоподобные», а взятые.
Отдельно ценен раздел «Проверено и не включено»: перечислены домены, которые не открылись или оказались не тем сегментом (carbook.pro — украинский рынок, agbis.ru — химчистки, autocrm.ru — автосалоны). YCLIENTS отдал 403 — и работа честно пишет, что проверить цены не смогла, поэтому продукт в разбор не взят. Это ровно то поведение, которое шаг 0 и проверяет.
Статья — 10 054 знака, отвечает на запрос в первом абзаце, дальше «Короткий ответ» на два абзаца. Вторая таблица считает стоимость владения на 5 и на 10 сотрудников: у конкурентов в выдаче такого нет, потому что это требует арифметики по чужим прайсам. Финал — «возьмите свой прошлый месяц и посчитайте две цифры», а не «оставьте заявку».
Код: девять модулей с разделёнными ответственностями, 67 тестов, включая настоящие браузерные — через протокол отладки Chrome, а не имитацию. Сама нашла и починила ошибку в run.sh: внешний PORT перекрывался значением из .env, то есть проверяющий не смог бы поднять проект на своём порту.
Расхождений отчёта с фактом нет. Заявленный объём статьи «10 054 знака» против измеренных 10 055 — разница в один знак на границе front-matter. Единственная придирка: заголовки в блоке FAQ написаны без знака вопроса, из-за чего скрытый чекер их не увидел; вопросов там шесть.
Цена и скорость. 33,15 $ за два шага (9,78 $ на шаге 0) — в четыре с половиной раза дороже второго места и в сорок раз дороже самого дешёвого. Дольше всех по времени: примерно в пять-шесть раз медленнее середины. Локальный сервер не пережил остановку задачи.
2 · GPT-5.6 Terra
Самый красивый лендинг захода и самое провальное исследование — при том, что провалено оно честно. Поиск лёг (SmartCaptcha на Яндексе, недоступен Wordstat), и работа не стала это обходить: в разборе остался один конкурент, «АвтоДилер Онлайн», страницу которого она действительно открыла. Колонка frequency_month пуста во всех 25 строках, и в sources.md прямым текстом: «Это не измерение спроса и не результат Wordstat». Галочки R1, R2, R3 в требованиях оставлены непроставленными. Ни одного выдуманного названия, сайта или числа — на фоне остальных это дорогого стоит.
Дизайн лендинга — сильнейший из шести. Настоящая типографская иерархия, асимметрия вместо сетки одинаковых карточек, макет журнала записи в первом экране, тёмные полосы для ритма. Заметно, что композицию кто-то думал, а не собирал из блоков.
Дальше начинаются потери. На 360 px страница едет по горизонтали на 17 px — виновата кнопка «Попробовать 14 дней» в шапке (A.button.button-small, правый край 377 при ширине окна 360). Критерий L6 при этом отмечен галочкой. Это единственное расхождение отчёта с фактом в работе, но оно ровно того типа, за который шкала снимает три балла: заявление о результате, которого нет.
Статья написана хорошим языком, но в опубликованный текст протёк рабочий процесс. Второй абзац статьи — про то, что Wordstat был недоступен во время исследования. В сносках — пути к внутренним файлам: «brief/facts.md», «brief/product.md», «research/competitors.md», и там же «актуально для учебного проекта». Владелец автосервиса, пришедший из поиска, читать это не должен.
Код — один файл server.mjs на 192 строки, чистый и понятный, но тестов нет вовсе, хотя docs/tests.md их требует.
Цена и скорость. 4,86 $ за два шага (0,77 $ на шаге 0). Одно обращение к человеку: заметил, что без данных по конкурентам двигаться дальше нельзя по условиям задания, и остановился. По шкале это не вмешательство и в минус не идёт — остановиться и спросить требует AGENTS.md. Локальный сервер не пережил остановку задачи.
3 · Grok 4.5
Крепкая, ровная работа без провалов и без выдающихся мест. Шесть конкурентов, все шесть сайтов открываются, цены сняты с публичных страниц и с реселлера (Softline для «АвтоДилера»). Проверил две цены выборочно: «Autoshift PRO, от 300 ₽/мес, склад — с тарифа Профи» — на autoshift.pro/pricing.html ровно так; «YCLIENTS от 960 ₽» — на странице продукта тоже ровно так.
Частотность не получена, и это сказано без экивоков: в keywords.csv во всех 35 строках стоит «н/д», а в sources.md — «абсолютная частотность не измерена… Это не оценка и не выдуманное число», с перечислением четырёх неудавшихся попыток и с инструкцией, каким методом перезаполнить колонку, когда появится токен. Галочка R2 при этом проставлена — критерий требует 25 запросов с колонками, и они есть, так что формально работа права, но пустая по смыслу колонка снижает ценность ядра, и в баллах шага 0 это отражено.
Лендинг проходит все восемь критериев и на 360 px не едет. Но как продукт он самый шаблонный из работающих пяти: семь одинаковых карточек с оранжевыми номерами, дальше ещё одна сетка карточек, потом ещё одна. Всё на месте, воздуха хватает, только читается как каталог блоков, а не как страница, которую кто-то собрал под конкретного читателя.
Статья хорошая: разделение решений по типам, честное «кому обычно не подходит» по каждому, цены с датой. Один англицизм («зафиксируйте must-have») выбивается из тона мастера-приёмщика.
Код разделён на server/index.js и server/markdown.js, читается за десять минут. Тестов нет. Заодно построен дашборд, которого на этом заходе не просили, — /dashboard и /api/metrics отвечают; критерии D при этом честно не отмечены.
Цена и скорость. 4,07 $ за два шага (0,89 $ на шаге 0) — дешевле всех, кроме Qwen. Самый быстрый на шаге 2. Один из двух, чей локальный сервер пережил остановку задачи.
4 · Kimi 3
Вторая работа захода и единственная, кроме первой, где метод сбора частотности описан так, что его можно повторить и оспорить. Wordstat недоступен — сказано прямо, с кодом ошибки. Дальше 42 сид-фразы прогнаны через подсказки Яндекса, в ядро взяты только те, что дословно встретились в выдаче, и каждой присвоен класс A/B/C/D по формальным признакам с оценочным диапазоном; в колонке source стоит «yandex-suggest:2026-07-30;est-A». Отдельным абзацем: «Диапазоны не подкреплены измерением, фактическая частотность может отличаться в разы; ядро корректно использовать для ранжирования тем, но не для прогноза трафика». Это оценка, которая знает, что она оценка.
Цены конкурентов проверил выборочно: GIPIX — Free 0 ₽, Pro от 590 ₽/мес, Business 1 190 ₽/мес, 550 автосервисов, рейтинг CRMindex 5.0. На gipix-lite.ru всё это лежит ровно в таких формулировках. Шесть сайтов из шести открываются.
Лендинг плотный и рабочий: макет журнала записи в первом экране, полоса цифр с подписью, откуда они, тарифы, кейсы, возражения, FAQ. Шрифты Inter и Inter Tight положены локально шестью файлами woff2 — единственная работа, которая выполнила требование бренда «страница обязана открываться и без интернета» буквально, а не ссылкой на CDN.
Статья самая короткая (6 447 знаков, нижняя граница диапазона) и при этом самая полезная после первой. Есть блок «какое решение подойдёт вам» по сегментам и прямая честность там, где её обычно не бывает: «Если нужна проценка поставщиков — честнее смотреть TEZARIUS или Parts.Intellect». Статья, которая отправляет читателя к конкуренту, когда продукт ему не подходит, — это ровно то, чего требует редполитика.
Код — один server.js на 323 строки, но структурированный, плюс 16 поведенческих тестов в трёх файлах. Два теста статьи падают на моей машине, и я это проверил отдельно: порт 4321, зашитый в тесте, занят посторонним процессом. На свободном порту сервер отдаёт /article с кодом 200 и две ссылки на статью с лендинга. Дефекта в работе нет, есть хрупкость теста — зашитый порт вместо свободного.
Цена и скорость. 7,53 $ за два шага (1,45 $ на шаге 0) — вчетверо дешевле первого места при 96 % его результата. По времени примерно вдвое медленнее середины. Один из двух, чей локальный сервер пережил остановку задачи.
5 · Qwen 3.6
Формально почти безупречная работа — 38 из 39 пунктов открытого контракта, все восемь критериев лендинга, все шесть сайтов конкурентов открываются — с одной находкой, которая перевешивает половину плюсов.
В sources.md стоит: «https://stocrm.ru/ — Реестр отечественного ПО № 1234183». Открыл stocrm.ru: там «Реестровая запись № 16069 от 23.12.2022». Номер 1234183 не выдуман целиком «из головы» — он выдуман с приписанным источником, и дальше прошёл по всей цепочке: из sources.md в competitors.md, оттуда в сравнительную таблицу опубликованной статьи («STOCRM — Да, № 1234183») и в отдельный раздел «Реестр отечественного ПО». Это правдоподобное число со ссылкой на страницу, где его нет, — ровно та ошибка, которую шкала наказывает жёстче кривой вёрстки. Критерии R6 («ни одного выдуманного… числа») и A5 («все факты прослеживаются до источника») при этом отмечены галочками.
Остальные цены проверил — они настоящие: LiveSklad 1 100 ₽ на livesklad.com, YCLIENTS 857 ₽ на странице продукта, ссылки на fixpilot.ru и crmindex.ru живые. То есть работа умеет доставать данные и один раз этим не воспользовалась.
Метод оценки частотности описан, но описан так, что проверить его нельзя: «оценка по числу рекламных объявлений в выдаче и пересчёт через известные пропорции высокочастотных запросов тематики, погрешность до ±40 %». Пометка «оценка» стоит честно, но за ней нет процедуры, которую можно повторить, — в отличие от классов A/B/C/D у четвёртой работы.
Лендинг самый безликий из пяти работающих: центрированный первый экран без единой картинки, дальше три сетки одинаковых карточек подряд, тарифы длинными столбцами буллетов. Всё на месте, ничто не запоминается. Кода 372 строки в двух файлах, тестов нет. В run.sh переменные грузятся через export $(grep -v '^#' .env | xargs) — конструкция ломается на значениях с пробелами, и PORT из .env перекрывает внешний, то есть на чужом порту проект бы не поднялся. Здесь совпало, потому что порты в .env и у проверяющего одинаковые.
Цена и скорость. 0,78 $ за два шага (0,16 $ на шаге 0) — в сорок два раза дешевле первого места и дешевле всех с большим отрывом. Локальный сервер не пережил остановку задачи.
7 · DeepSeek v4 Pro
Аккуратная работа с настоящим исследованием и одной выдуманной цифрой в самом финале.
Четыре конкурента — нижняя граница диапазона, но все четыре настоящие и проверяются. Сверил выборочно три источника: тарифы Control365 (4 000 / 3 600 / 3 000 ₽) на их странице цен ровно такие; продукты STO-Soft (АвтоПредприятие 10, АвтоМастерская, НормыВремени SP8, АвтоКаталог) на сайте все на месте; реестровая запись STOCRM № 16069 — верная, это та самая цифра, которую пятая работа переврала.
Про частотность сказано честно: токена нет, все числа — экспертная оценка, метод расписан по шагам, погрешность объявлена (±30–50 % на высокочастотных, ±50–100 % на низкочастотных). Одна оговорка: шкала откалибрована по анкеру «Wordstat даёт ~8 000 для „программа для автосервиса“ по публичным кейсам рекламных кампаний» — а вот на этот анкер ссылки нет. Число без источника, на котором стоит вся колонка.
Лендинг проходит все восемь критериев, на 360 px не едет, логотип и favicon отдаются прямо из brief/assets. Блок кейсов сделан лучше, чем у соседей: крупные цифры «0 потерянных заявок», «+31 %», «−18 %» с подписями, а не пересказ прозой.
Главная находка — в последнем абзаце статьи: «Один потерянный клиент в месяц для сервиса со средним чеком 8 000 ₽ — это 96 000 ₽ в год». Числа 8 000 нет ни в brief/facts.md, ни в brief/product.md, ни в собственном разборе конкурентов — я проверил все три. Средний чек как факт в реестре отсутствует вовсе. То есть на выдуманной цифре построен закрывающий довод всей статьи, и критерий A5 («все факты и цифры прослеживаются до источника») при этом отмечен галочкой.
Код — один server.js на 30 килобайт с вёрсткой обеих страниц внутри. Работает, но править это в четыре руки нельзя. Тестов нет.
Цена. 3,15 $ — дешевле всех, кроме Qwen и Mimo. За эти деньги получено настоящее исследование с проверяемыми ценами: соотношение цены и содержания одно из лучших в заходе, и подвела работу не бедность источников, а одна цифра, дописанная от себя в финале.
8 · Mimo 2.5 Pro
Единственная работа захода, которая нашла нестандартный источник цен и на нём же споткнулась.
Цены взяты из каталога picktech.ru, и это настоящая находка: сверил все четыре — Splus от 1 190 ₽, STOCRM от 1 592 ₽, Autoshift PRO от 599 ₽, 1С:Автосервис от 31 900 ₽ — в каталоге лежат ровно эти числа. Ещё две цены сняты из JSON-LD на сайтах продуктов (Autoshift 199 ₽ при годовой подписке, TEZARIUS 3 990 ₽) — тоже верно. Ссылка на обзор vc.ru с конкретным идентификатором статьи открывается. Это работа, которая умеет доставать данные оттуда, куда другие не заглянули.
И ровно поэтому обиднее следующее. Конкуренту Splus приписан сайт splus.center — домена не существует, DNS не резолвит его вообще. Каталог, откуда взят продукт, ведёт на свою внутреннюю страницу, а не на сайт вендора; адрес вендора работа не нашла и написала правдоподобный. Второй адрес, 1c-rating.ru для «1С:Автосервис», домен имеет, но не отвечает — и это не официальный сайт 1С. Критерий R6 («ни одного выдуманного названия, сайта, цены») отмечен галочкой.
Статья — 4 177 знаков без пробелов при нижней границе 6 000. Критерий A2 («объём от 6 000 до 12 000») тоже отмечен галочкой. Это второе заявление о результате, которого нет, и вместе с R6 оно обнуляет строку честности.
В разборе конкурентов есть и арифметическая несуразица: «Тариф „Старт“ за 2 900 ₽ — ниже, чем TEZARIUS (3 990 ₽) и STOCRM (1 592 ₽)». 2 900 не ниже 1 592.
Лендинг проходит контракт и на 360 px не едет, но выглядит наиболее шаблонно из всех работавших: всё по центру, а иконки функций — стоковые эмодзи (📅 🔧 📦 📊 💬 👥). Бренд-бук расписывает форму до радиусов скругления и прямо запрещает эмодзи в заголовках; формально они стоят в блоках над заголовками, так что букву правила это не нарушает, но продуктом это быть перестаёт. В шапке слово «Гайка» продублировано рядом с логотипом.
Код — компактный server.js на express с хранением заявок в SQLite через better-sqlite3 с журналом WAL. Выбор хранилища разумный. Но пакет требует Node ≥ 22, в package.json это не объявлено, а run.sh проверяет только наличие node — на Node 20 сервер падает с Segmentation fault без единого слова, тогда как контракт требует понятной ошибки и ненулевого кода возврата.
Цена. 0,16 $ — самая дешёвая работа захода наравне с Qwen на шаге 0. За эти деньги собран рабочий сайт, статья и разбор пяти конкурентов с настоящими ценами из каталога. Ошибки при этом ровно те, которые дешевизна и объясняет: короткая статья, дописанный домен и две галочки авансом.