Skip to content
askadsPublic

About

Benchmark of LLMs (Claude, GLM, GPT) on multi-step MCP tool use for Russian ad analytics: deterministic fixtures, code and LLM-as-a-judge scoring, cost and Pareto reports

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Repository files navigation

llm-bench

🇷🇺 Русский · 🇬🇧 English

Автономный харнесс: гоняет модели против MCP-тулз askads (Яндекс Директ / VK Ads / Метрика) и сравнивает их между собой на нашем домене: русская рекламная аналитика и многошаговый tool-use, а не чужие кодинг-бенчи.

Два режима:

  • fixed: детерминированные фикстуры (замороженный фейк-кабинет как tool_result). Воспроизводимое сравнение моделей, гоняется в CI без сети и ключей кабинета.
  • live: запускает РЕАЛЬНЫЕ MCP-серверы по stdio (mcp-yandex-direct и т.д.) с токенами из env. Это интеграционные тесты самих тулов на живом кабинете.

Движок и MCP-клиент от askads не зависят (лежат в llmbench/), репозиторий самодостаточен.

Термины

Метрика Что Кто считает
Accuracy точность чисел (CTR/CPC/CPA/расход) + верная привязка к кампании (entity-анкоринг), без выдумок Оценивается кодом
Tools Use нужные тулы вызваны успешно, в нужном порядке, без лишних/запрещённых Оценивается кодом
Edge Cases поведение в краевых случаях (пустой отчёт, отказ менять ставку, уточнение) Оценивается LLM-судьями
Lang quality естественность и ясность русского Оценивается LLM-судьями
Score сводный балл прогона = среднее доступных компонент (см. «Как считается Score») —
Cost per Answer средняя стоимость одного ответа, USD —
Score per USD «качество на доллар» (Score ÷ цена); выше = выгоднее —
Stability 5 − разброс Score между повторами кейса; выше = стабильнее —
⭐ лучший баланс «качество/цена»: нет варианта, который был бы и качественнее, и дешевле одновременно —

Как считается Score

Score одного прогона считается как среднее доступных компонент, а не всех четырёх колонок сразу:

  • Tools Use входит всегда;
  • Accuracy, если у кейса есть golden-факты (числовые кейсы);
  • Edge Cases и Lang quality, если работали судьи.

Состав компонент зависит от кейса, поэтому:

  • Score можно сравнивать между вариантами (кейсы у всех одни), но он не равен среднему четырёх колонок отчёта;
  • упавшие прогоны (ошибки API, обрезка лимитом токенов) в метрики не входят, они вынесены в колонку Err;
  • Stability = 5 − средний разброс (σ) Score между повторами одного кейса ловит шум модели, а не разницу в сложности кейсов.

Результаты последнего прогона

results/2026-07-03/ (+ англ. results.en.md): полный грид, 16 вариантов × 9 кейсов × 3 повтора = 432 прогона, 0 ошибок, ≈ $18, на исправленном скоринге.

⚠️ Эти цифры получены до синка системного промпта с askads (prompt_version 4c87a464, llmbench/core.py). Новый промпт добавил правила про Reports и Вебмастер; бенч с ним ещё не перезапускали, результаты нужно обновить.

Топ-3 по балансу «качество/цена» (⭐):

LLM Thinking Score Cost/ответ Чем берёт
GLM-4.6 нет 4.62 $0.003 лучший «качество/цена», ~27× дешевле Opus
GPT-4.1 нет 4.93 $0.013 неожиданно силён и дёшев
Opus 4.8 adaptive/high 4.96 $0.081 потолок качества

Sonnet 4.6 (прод на момент прогона, 2026-07-03) просел на краевых кейсах: Edge ~3.3, выдумывает причины на пустом срезе и не уточняет неясный вопрос. Прогон results/2026-06-29/ исторический, он сделан до правок скоринга.

Структура

llmbench/
  core.py       # allowlists, конвертеры тулов, обрезка, ставки, system-prompt, retry, таймауты
  fixtures.py   # замороженный кабинет + FIXTURE_VERSION (единый источник golden-фактов)
  mcp.py        # live stdio-клиент + реестр серверов + fake-сессия + preflight_live
  engines.py    # агентные loop'ы: run_anthropic (Claude/GLM), run_openai (GPT); ретраи, таймауты
  scoring.py    # numeric (entity-анкоринг) + toolcheck (учёт is_error) + cost
  judges.py     # панель {Claude, GPT, GLM, (опц.) Gemini}, нейтральность, детерминизм
  cases.py      # кейсы (вопрос + trace-спека + golden_facts с entity + рубрика)
  report.py     # агрегация записей, Stability/Score/Pareto, сборка markdown (тестируется в CI)
  runner.py     # сетка вариантов × кейсы × repeat, JSONL-персист, отчёт
tests/          # офлайн self-test: скоринг + агрегация + конвейер ранера (всё в CI)
results/        # per-date папки: results.ru.md + results.en.md + сырой runs.jsonl (всё под VCS для fixed)

Запуск

Нужен Python ≥ 3.10 (в CI 3.11). requirements.txt требует mcp>=2.0: код рассчитан на snake_case-атрибуты, которые появились в SDK с 2.0.

Офлайн self-test (без сети и денег, его же гоняет CI):

pip install -r requirements-dev.txt
pytest -q

Детерминированный model-бенч (нужны ключи моделей):

RUN_BENCH=1 ANTHROPIC_API_KEY=… ZAI_API_KEY=… OPENAI_API_KEY=… \
  python -m llmbench.runner --mode fixed --repeat 2

Опц. GOOGLE_API_KEY добавляет Gemini-судью, он нейтрален, когда GPT среди кандидатов. Ему нужен пакет google-genai: он есть в requirements-dev.txt, а в requirements.txt закомментирован.

Модели судей GPT и Gemini переопределяются через BENCH_GPT_JUDGE_MODEL (дефолт gpt-4.1) и BENCH_GEMINI_JUDGE_MODEL (дефолт gemini-2.5-flash).

Против РЕАЛЬНЫХ тулов (нужны npm-серверы и токены кабинета):

npm install                       # ставит mcp-yandex-direct и др.
RUN_BENCH=1 ANTHROPIC_API_KEY=… YANDEX_DIRECT_TOKEN=… \
  python -m llmbench.runner --mode live --variants "GLM-4.6 disabled" --judges off

Env токенов кабинета (для --mode live):

Env Назначение
YANDEX_DIRECT_TOKEN (+ опц. YANDEX_DIRECT_LOGIN) токен Яндекс Директа, обязателен для live; LOGIN нужен, если токен агентский
YANDEX_METRIKA_TOKEN токен Метрики (для metrika-кейсов)
VK_ADS_TOKEN токен VK Ads
MCP_PATH_YANDEX_DIRECT, MCP_PATH_YANDEX_METRIKA, MCP_PATH_VK опц.: свой путь к MCP-серверу платформы (/path/to/dist/index.js)

Live-режим проверяет токены и наличие серверов ДО первого платного вызова.

Флаги ранера:

Флаг Что делает
--mode fixed|live фикстуры (дефолт) или реальные MCP-серверы
--variants <подстроки…> какие варианты гнать (опечатка в фильтре даёт ошибку, а не молча запускает полный грид)
--cases <id…> какие кейсы гнать (та же защита от опечатки)
--repeat N повторов на кейс (дефолт 2)
--judges panel|neutral|off панель судей / только нейтральные / без судей
--concurrency N параллельных прогонов внутри варианта (дефолт 4)
--dry-run показать смету (число прогонов/судейских) без ключей и трат
--out <dir> каталог отчёта (дефолт results/<date>/)
--report-from <jsonl> пересобрать отчёт (ru+en) из runs.jsonl бесплатно
--resume <jsonl> догнать прерванный прогон (только недостающие/упавшие ключи)

Варианты (модель × thinking/effort/reasoning) перечислены в llmbench/runner.py. Новая модель добавляется одной строкой; тариф для неё нужен в core.MODEL_RATES, иначе ранер предупредит.

Артефакты и пере-скоринг

Каждый прогон складывается в дата-папку results/<date>/: сырой runs.jsonl (запись на прогон: ответ, tool-трейс, usage, все оценки, ошибки) и двуязычный авто-отчёт results.ru.md + results.en.md. Источник правды здесь runs.jsonl: обе версии отчёта пересобираются из него бесплатно, без повторных вызовов моделей:

python -m llmbench.runner --report-from results/2026-07-03/runs.jsonl

Для fixed-прогонов runs.jsonl лежит в git: там фейк-кабинет, приватных данных нет, в паке это ~230 КБ. ⚠️ В live-прогонах данные реального кабинета, их runs.jsonl не коммить (держи локально или в приватном S3). Отчёты .md коммитятся. Топ-3, прозу и выводы дописывают руками поверх сгенерированного грида в той же дата-папке. Второй прогон за день первый не затирает: при совпадении даты к имени папки добавляется время.

Если прогон прервался (кончился баланс, Ctrl-C), готовые прогоны уже лежат в runs.jsonl: он пишется построчно по мере готовности. Пополни баланс и догони остаток, заплатишь только за него:

RUN_BENCH=1 …ключи… python -m llmbench.runner --resume results/2026-07-03/runs.jsonl

--resume пропускает уже успешные (вариант, кейс, повтор), гоняет только упавшие и недостающие, дописывает в тот же файл и пересобирает отчёт (при дублях берётся успешный). Так же можно добавить ключ (например, OPENAI_API_KEY) и догнать варианты, пропущенные в исходном прогоне.

Известные ограничения

  • Кейсы упираются в потолок: топ-модели получают 5.0 по Tool/Numeric, так что «паритет» здесь значит «обе отлично решают ЭТИ задачи». Чтобы строже различать качество, нужны кейсы труднее.
  • Судьи вторичны. Без нейтрального вендора мягкий балл равен среднему панели (advisory, возможна self-preference). Сравнение опирается на ключевые метрики.
  • Ставки и кэш-множители моделей взяты из прайс-листов, их стоит сверить с биллингом.
  • glm-5/gpt-5: то, что модель отвечает под этим именем, ещё не значит, что это ожидаемая модель. Надо сверить.
  • --repeat меряет шум грубо; приравнять в numeric неверное число к пропущенному тоже упрощение.
  • fixed-режим не ловит robustness на грязном API-выводе (для этого --mode live).
  • system-prompt в core.py доменный (аналитик Директа), под свой кейс его надо заменить.

About

Benchmark of LLMs (Claude, GLM, GPT) on multi-step MCP tool use for Russian ad analytics: deterministic fixtures, code and LLM-as-a-judge scoring, cost and Pareto reports

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Contributors

Languages