Skip to content

Generate the organization profile from current benchmark evidence #24

Description

@yhay81

背景/問題

Organization の入口である profile/README.md だけが、現行の生成済み
互換性・競合証跡から外れている。

現在の掲載値は 2026-07-27 / Hayate 0.12.1 だが、canonical な
ordinary-runtime benchmark は 2026-07-28 / Hayate 0.15.1 である。

  • profile: Hayate 0.12.1、13,995 req/s、130.3 ms
  • current evidence: Hayate 0.15.1、14,906 req/s、149.0 ms
  • FastAPI/Django/Hono の値と比率もすべて古い
  • Django の説明も「integrated admin を保持」となっており、現在の
    hayate-admin による明示的 operational-admin surface を反映していない

docs/COMPATIBILITY.mdcompatibility.json
scripts/export_compatibility.py --check で drift を拒否するが、最も閲覧される
organization profile には同等の gate がない。結果として CI が緑でも公開トップ
だけが古い競合説明を掲載できる。

目的

Organization profile のバージョン、ordinary-runtime benchmark、profile
verdict を、immutable な現行証跡から再生成または検証し、手編集による drift を
CI で拒否する。

非目標

  • weighted な総合 winner を作ること
  • Workers global path の小差を hard victory と表現すること
  • 未公開の hayate-admin / hayate-htmx を published package として掲載すること
  • benchmark をこの repository で再実行すること

施策(最小差分)

  1. Hayate の immutable commit と current ordinary benchmark JSON/Markdown を
    data/ecosystem.toml の source として記録する。
  2. profile の benchmark 表・比率・profile verdict を生成する小さな exporter、
    またはテンプレート内の generated block を追加する。
  3. 現行値へ更新する。
    • Hayate 0.15.1: 149.0 ms、5 packages、298.1 KiB、14,906 req/s、14/14
    • FastAPI 0.140.0: 471.4 ms、13、2,802.2 KiB、10,086 req/s、12/14
    • Django 6.0.7: 392.6 ms、6、5,147.2 KiB、2,557 req/s、12/14
    • Hono 4.12.32: 61.3 ms、2、281.5 KiB、59,187 req/s、12/14
  4. Django は model-driven ORM/migrations/forms/templates と成熟度で overall
    full-stack advantage、Hono は JavaScript runtime/typed RPC/Worker resource
    efficiency で advantage、Hayate は portable Python agent API で advantage、
    と canonical capability profile と同じ限定表現にする。
  5. Documentation workflow に --check を追加する。

影響範囲

  • profile/README.md
  • data/ecosystem.toml
  • profile exporter/checker とその小さなテスト
  • .github/workflows/docs.yml

package/runtime の実装や公開 API は変更しない。

検証

  • exporter/checker が current profile では成功する
  • profile の version、全数値、比率、日付を一つ変更すると失敗する
  • immutable source commit/path が存在しない、または raw evidence と一致しないと
    失敗する
  • scripts/export_compatibility.py --check
  • scripts/check_evidence.py
  • scripts/check_links.py
  • scripts/check_start.sh
  • workflow の zizmor 検証

Canonical evidence:

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions