🇷🇺 Русский · 🇬🇧 English
Автономный харнесс: гоняет модели против MCP-тулз askads (Яндекс Директ / VK Ads / Метрика) и сравнивает их между собой на нашем домене: русская рекламная аналитика и многошаговый tool-use, а не чужие кодинг-бенчи.
Два режима:
fixed: детерминированные фикстуры (замороженный фейк-кабинет какtool_result). Воспроизводимое сравнение моделей, гоняется в CI без сети и ключей кабинета.live: запускает РЕАЛЬНЫЕ MCP-серверы по stdio (mcp-yandex-directи т.д.) с токенами из env. Это интеграционные тесты самих тулов на живом кабинете.
Движок и MCP-клиент от askads не зависят (лежат в llmbench/), репозиторий самодостаточен.
| Метрика | Что | Кто считает |
|---|---|---|
| Accuracy | точность чисел (CTR/CPC/CPA/расход) + верная привязка к кампании (entity-анкоринг), без выдумок | Оценивается кодом |
| Tools Use | нужные тулы вызваны успешно, в нужном порядке, без лишних/запрещённых | Оценивается кодом |
| Edge Cases | поведение в краевых случаях (пустой отчёт, отказ менять ставку, уточнение) | Оценивается LLM-судьями |
| Lang quality | естественность и ясность русского | Оценивается LLM-судьями |
| Score | сводный балл прогона = среднее доступных компонент (см. «Как считается Score») | — |
| Cost per Answer | средняя стоимость одного ответа, USD | — |
| Score per USD | «качество на доллар» (Score ÷ цена); выше = выгоднее | — |
| Stability | 5 − разброс Score между повторами кейса; выше = стабильнее |
— |
| ⭐ | лучший баланс «качество/цена»: нет варианта, который был бы и качественнее, и дешевле одновременно | — |
Score одного прогона считается как среднее доступных компонент, а не всех четырёх колонок сразу:
- Tools Use входит всегда;
- Accuracy, если у кейса есть golden-факты (числовые кейсы);
- Edge Cases и Lang quality, если работали судьи.
Состав компонент зависит от кейса, поэтому:
- Score можно сравнивать между вариантами (кейсы у всех одни), но он не равен среднему четырёх колонок отчёта;
- упавшие прогоны (ошибки API, обрезка лимитом токенов) в метрики не входят, они вынесены в колонку
Err; Stability = 5 − средний разброс (σ) Score между повторами одного кейсаловит шум модели, а не разницу в сложности кейсов.
results/2026-07-03/ (+ англ. results.en.md): полный грид, 16 вариантов × 9 кейсов × 3 повтора = 432 прогона, 0 ошибок, ≈ $18, на исправленном скоринге.
⚠️ Эти цифры получены до синка системного промпта с askads (prompt_version 4c87a464,llmbench/core.py). Новый промпт добавил правила про Reports и Вебмастер; бенч с ним ещё не перезапускали, результаты нужно обновить.
Топ-3 по балансу «качество/цена» (⭐):
| LLM | Thinking | Score | Cost/ответ | Чем берёт |
|---|---|---|---|---|
| GLM-4.6 | нет | 4.62 | $0.003 | лучший «качество/цена», ~27× дешевле Opus |
| GPT-4.1 | нет | 4.93 | $0.013 | неожиданно силён и дёшев |
| Opus 4.8 | adaptive/high | 4.96 | $0.081 | потолок качества |
Sonnet 4.6 (прод на момент прогона, 2026-07-03) просел на краевых кейсах: Edge ~3.3, выдумывает причины на пустом срезе и не уточняет неясный вопрос. Прогон results/2026-06-29/ исторический, он сделан до правок скоринга.
llmbench/
core.py # allowlists, конвертеры тулов, обрезка, ставки, system-prompt, retry, таймауты
fixtures.py # замороженный кабинет + FIXTURE_VERSION (единый источник golden-фактов)
mcp.py # live stdio-клиент + реестр серверов + fake-сессия + preflight_live
engines.py # агентные loop'ы: run_anthropic (Claude/GLM), run_openai (GPT); ретраи, таймауты
scoring.py # numeric (entity-анкоринг) + toolcheck (учёт is_error) + cost
judges.py # панель {Claude, GPT, GLM, (опц.) Gemini}, нейтральность, детерминизм
cases.py # кейсы (вопрос + trace-спека + golden_facts с entity + рубрика)
report.py # агрегация записей, Stability/Score/Pareto, сборка markdown (тестируется в CI)
runner.py # сетка вариантов × кейсы × repeat, JSONL-персист, отчёт
tests/ # офлайн self-test: скоринг + агрегация + конвейер ранера (всё в CI)
results/ # per-date папки: results.ru.md + results.en.md + сырой runs.jsonl (всё под VCS для fixed)
Нужен Python ≥ 3.10 (в CI 3.11). requirements.txt требует mcp>=2.0: код рассчитан на snake_case-атрибуты, которые появились в SDK с 2.0.
Офлайн self-test (без сети и денег, его же гоняет CI):
pip install -r requirements-dev.txt
pytest -qДетерминированный model-бенч (нужны ключи моделей):
RUN_BENCH=1 ANTHROPIC_API_KEY=… ZAI_API_KEY=… OPENAI_API_KEY=… \
python -m llmbench.runner --mode fixed --repeat 2Опц. GOOGLE_API_KEY добавляет Gemini-судью, он нейтрален, когда GPT среди кандидатов. Ему нужен пакет google-genai: он есть в requirements-dev.txt, а в requirements.txt закомментирован.
Модели судей GPT и Gemini переопределяются через BENCH_GPT_JUDGE_MODEL (дефолт gpt-4.1) и BENCH_GEMINI_JUDGE_MODEL (дефолт gemini-2.5-flash).
Против РЕАЛЬНЫХ тулов (нужны npm-серверы и токены кабинета):
npm install # ставит mcp-yandex-direct и др.
RUN_BENCH=1 ANTHROPIC_API_KEY=… YANDEX_DIRECT_TOKEN=… \
python -m llmbench.runner --mode live --variants "GLM-4.6 disabled" --judges offEnv токенов кабинета (для --mode live):
| Env | Назначение |
|---|---|
YANDEX_DIRECT_TOKEN (+ опц. YANDEX_DIRECT_LOGIN) |
токен Яндекс Директа, обязателен для live; LOGIN нужен, если токен агентский |
YANDEX_METRIKA_TOKEN |
токен Метрики (для metrika-кейсов) |
VK_ADS_TOKEN |
токен VK Ads |
MCP_PATH_YANDEX_DIRECT, MCP_PATH_YANDEX_METRIKA, MCP_PATH_VK |
опц.: свой путь к MCP-серверу платформы (/path/to/dist/index.js) |
Live-режим проверяет токены и наличие серверов ДО первого платного вызова.
Флаги ранера:
| Флаг | Что делает |
|---|---|
--mode fixed|live |
фикстуры (дефолт) или реальные MCP-серверы |
--variants <подстроки…> |
какие варианты гнать (опечатка в фильтре даёт ошибку, а не молча запускает полный грид) |
--cases <id…> |
какие кейсы гнать (та же защита от опечатки) |
--repeat N |
повторов на кейс (дефолт 2) |
--judges panel|neutral|off |
панель судей / только нейтральные / без судей |
--concurrency N |
параллельных прогонов внутри варианта (дефолт 4) |
--dry-run |
показать смету (число прогонов/судейских) без ключей и трат |
--out <dir> |
каталог отчёта (дефолт results/<date>/) |
--report-from <jsonl> |
пересобрать отчёт (ru+en) из runs.jsonl бесплатно |
--resume <jsonl> |
догнать прерванный прогон (только недостающие/упавшие ключи) |
Варианты (модель × thinking/effort/reasoning) перечислены в llmbench/runner.py. Новая модель добавляется одной строкой; тариф для неё нужен в core.MODEL_RATES, иначе ранер предупредит.
Каждый прогон складывается в дата-папку results/<date>/: сырой runs.jsonl (запись на прогон: ответ, tool-трейс, usage, все оценки, ошибки) и двуязычный авто-отчёт results.ru.md + results.en.md. Источник правды здесь runs.jsonl: обе версии отчёта пересобираются из него бесплатно, без повторных вызовов моделей:
python -m llmbench.runner --report-from results/2026-07-03/runs.jsonlДля fixed-прогонов runs.jsonl лежит в git: там фейк-кабинет, приватных данных нет, в паке это ~230 КБ. runs.jsonl не коммить (держи локально или в приватном S3). Отчёты .md коммитятся. Топ-3, прозу и выводы дописывают руками поверх сгенерированного грида в той же дата-папке. Второй прогон за день первый не затирает: при совпадении даты к имени папки добавляется время.
Если прогон прервался (кончился баланс, Ctrl-C), готовые прогоны уже лежат в runs.jsonl: он пишется построчно по мере готовности. Пополни баланс и догони остаток, заплатишь только за него:
RUN_BENCH=1 …ключи… python -m llmbench.runner --resume results/2026-07-03/runs.jsonl--resume пропускает уже успешные (вариант, кейс, повтор), гоняет только упавшие и недостающие, дописывает в тот же файл и пересобирает отчёт (при дублях берётся успешный). Так же можно добавить ключ (например, OPENAI_API_KEY) и догнать варианты, пропущенные в исходном прогоне.
- Кейсы упираются в потолок: топ-модели получают 5.0 по Tool/Numeric, так что «паритет» здесь значит «обе отлично решают ЭТИ задачи». Чтобы строже различать качество, нужны кейсы труднее.
- Судьи вторичны. Без нейтрального вендора мягкий балл равен среднему панели (advisory, возможна self-preference). Сравнение опирается на ключевые метрики.
- Ставки и кэш-множители моделей взяты из прайс-листов, их стоит сверить с биллингом.
glm-5/gpt-5: то, что модель отвечает под этим именем, ещё не значит, что это ожидаемая модель. Надо сверить.--repeatмеряет шум грубо; приравнять в numeric неверное число к пропущенному тоже упрощение.fixed-режим не ловит robustness на грязном API-выводе (для этого--mode live).system-promptвcore.pyдоменный (аналитик Директа), под свой кейс его надо заменить.