Skip to content

test(cockpit): Paritäts-Audit als ausführbare CI- und Runtime-Matrix etablieren #169

Closed
Task
Closed
test(cockpit): Paritäts-Audit als ausführbare CI- und Runtime-Matrix etablieren#169
Task
Labels
tech-debtTechnical debt, conventions, tooling gates

Description

@iret77
iret77
opened on Aug 19, 2026

Parent: #160; Release-Gate-Bezug: #143.

Problem und Nutzerauswirkung

Der aktuelle Referenzaudit dokumentiert frische SHAs und starke Source-/Fixture-Evidenz, erklärt aber ausdrücklich, dass kein Cargo-Build und keine Rust-Testausführung beansprucht werden. Ohne ausführbare Matrix kann Zaplex Parität mit claudeplex und claudeplex-desktop nur punktuell behaupten; spätere Regressionen bleiben unbemerkt.

Scope

  • Den in refactor(cockpit): Sidebar, Verbindungen und Konten entdoppeln #160 dokumentierten Funktionsvertrag in deterministische Rust-/Integrationstests überführen.
  • Matrix mindestens über:
    • Claude/Codex;
    • Default-, gepinnte und mehrere Konten;
    • Local/Remote;
    • Live/Waiting/Idle/Dormant;
    • Launch, Reattach, Transcript, Usage, Attention und Lifecycle.
  • Reproduzierbaren manuellen Runtime-Smoke-Test für echte installierte CLIs und zwei Hosts dokumentieren.
  • Referenzvergleich wiederholbar machen: vor jedem Audit beide Referenz-Repositories fast-forward-only aktualisieren und Branch, SHA sowie Zeit protokollieren.
  • Keine Runtime-Abhängigkeit von Referenz-Repositories; deren Verhalten wird als versionierter Vertrag/Fixture übernommen.
  • CI-Artefakte für Testresultate und relevante Screenshots erzeugen.
  • Manuellen und/oder geplanten Trigger für den vollständigen Audit bereitstellen.

Abnahmekriterien

  • cargo check und die fokussierten Cockpit-/Daemon-Tests laufen in CI.
  • Die Matrix schlägt bei einer absichtlich eingebrachten Provider-, Host- oder Statusregression fehl.
  • Ein Audit-Report enthält Zaplex- und beide Referenz-SHAs.
  • Runtime-Smoke deckt mindestens lokalen Claude, lokalen Codex und einen Remote-Host ab.
  • Narrow/Normal UI und Reduced Motion besitzen reproduzierbare Screenshot-/Spec-Prüfung.
  • refactor(cockpit): Sidebar, Verbindungen und Konten entdoppeln #160 kann erst nach verlinktem grünem Audit-Report als vollständig verifiziert gelten.

Relevante Stellen

  • specs/GH-160/REFERENCE_AUDIT.md
  • crates/zaplex_cockpit/src/*_tests.rs
  • app/src/cockpit/*_tests.rs
  • .github/workflows/

Activity

  1. iret77 commented on Aug 21, 2026

    @iret77
    iret77
    on Aug 21, 2026
    CollaboratorAuthor

    Signiertes Abnahme-DMG für Main 1971e1b

    Der vollständig grüne Test-DMG-Lauf für den gemergten Main-Commit 1971e1bccc0e7f87069cf9187dbe8991555d5f02 ist abgeschlossen:

    Das Issue bleibt bis zur echten Same-SHA-Zwei-Host-Runtime-Abnahme offen; es wird keine Hardware-Evidenz fingiert.

  2. iret77
    added
    tech-debtTechnical debt, conventions, tooling gates
    on Sep 6, 2026

  3. iret77 commented on Sep 9, 2026

    @iret77
    iret77
    on Sep 9, 2026
    CollaboratorAuthor

    Signiertes Abnahme-DMG für Main 70fc30b

    Der vollständig grüne Test-DMG-Lauf für den gemergten Main-Commit 70fc30b09089d051c56e8d472f80421e5bbe7bc3 ist abgeschlossen:

    • PR-Fix: fix: catch macOS-only compilation regressions #370
    • Run: https://github.com/byte5ai/zaplex/actions/runs/34355443739
    • DMG-Artefakt: im Bereich „Artifacts“ des Run-Links, Name zap-test-dmg-aarch64
    • Download per CLI: gh run download 34355443739 --repo byte5ai/zaplex --name zap-test-dmg-aarch64
    • Hinweis: Der Download von Actions-Artefakten erfordert eine angemeldete GitHub-Sitzung; der direkte Weblink liefert sonst 404.
    • Developer-ID-Code-Signatur: gültig
    • Apple-Notarisierung: Accepted
    • Stapling und Ticket-Validierung: erfolgreich
    • GitHub-Artefakt-Digest: sha256:d73375c0d6dae2b23df1f62f79b123f1ed906df3e7777bcc8cd0f8bfa34a65e4
    • Größe: 192921158 Byte
    • Ablauf des Actions-Artefakts: 2026-09-16

    Das Issue bleibt bis zur echten Same-SHA-Zwei-Host-Runtime-Abnahme offen; es wird keine Hardware-Evidenz fingiert.

  4. iret77 commented on Sep 11, 2026

    @iret77
    iret77
    on Sep 11, 2026
    CollaboratorAuthor

    Signiertes Same-SHA-Abnahme-DMG für main 62393d1

    Der vollständig grüne Test-DMG-Lauf für den gemergten Main-Commit 62393d17d725331f0105cf47ab44f0c76a13f339 ist abgeschlossen:

    • Run: https://github.com/byte5ai/zaplex/actions/runs/34644595672
    • Artefakt: zap-test-dmg-aarch64 (ID 10283109721)
    • Authentifizierter Download: gh run download 34644595672 --repo byte5ai/zaplex --name zap-test-dmg-aarch64
    • Hinweis: Ein direkter Actions-Artefaktlink erfordert eine angemeldete GitHub-Sitzung und liefert andernfalls 404.
    • Developer-ID-Signatur: App und DMG valid on disk, Designated Requirement erfüllt
    • Apple-Notarisierung: Accepted (Submission 8f5b112b-346e-45af-b2b8-1d32575bb6af)
    • Stapling und Ticket-Validierung: erfolgreich
    • GitHub-Artefakt-Digest: sha256:fad4612a4e85d57b1d178447ead3344080a71062ca0ac3dabab56d7f5776386a
    • DMG-Datei: 187130336 Byte, sha256:15f2145366dcbec0536c9b8d05ede8412a5159394db0dd787ba807980df5fdb9
    • Ablauf des Actions-Artefakts: 2026-09-18T21:48:41Z

    Das Issue bleibt bis zur echten Same-SHA-Runtime-Abnahme mit lokalem Claude, lokalem Codex, Remote-Host sowie den geforderten Screenshots offen; es wird keine Hardware-Evidenz fingiert.

  5. iret77 commented on Sep 28, 2026

    @iret77
    iret77
    on Sep 28, 2026
    CollaboratorAuthor

    Statusabgleich vom 28.09.2026: status: blocked.

    Die Paritätsmatrix ist implementiert; ältere signierte DMGs belegen keine aktuelle vollständige Abnahme. Offen bleiben die grüne Prüfung des gemeinsamen Stands und echte Runtime-Belege auf demselben SHA für lokalen Claude, lokalen Codex, Remote-Host sowie die geforderten Screenshots.

    Aktueller technischer Blocker: Der gemeinsame Abnahme-PR #477 ist Draft und enthält laut PR-Beschreibung die Änderungen dieses Issues. Sein aktueller HEAD 5c9c445ba961671583c09981450a7fb79b9c9cfd hat im vollständigen Prüflauf 36354992553 den Status failure: Die Schritte „Rust workspace coverage tests“ und „Export coverage and execution evidence“ sind fehlgeschlagen; die separate Nicht-Rust-Suite ist erfolgreich. Eine grüne vollständige Baseline ist damit weiterhin nicht belegt.

    Der letzte PR-Prüflauf 36353993130 auf dem Vorgänger 710faa3e8 scheiterte an Linux-Clippy und „Native subscription Agent layout evidence“ auf macOS. Spätere Quellkorrekturen sind dokumentiert, ein grüner Ersatz für diese Pflichtprüfungen ist beim Statusabgleich nicht vorhanden. Das bedeutet nicht, dass jedes einzelne Issue den gemeinsamen Fehler verursacht.

    Nächster Schritt: Die fehlgeschlagenen gemeinsamen Prüfungen korrigieren und auf dem aktuellen Stand erfolgreich nachweisen; anschließend die oben genannte individuelle Restabnahme abschließen. Solange technische Gates fehlen, ist dies weder ready noch ausschließlich needs-user. Dieser Eintrag aktualisiert den Status; er startet keinen Build und schließt das Issue nicht.

  6. iret77
    added
    status: blockedTechnisch blockiert: fehlgeschlagene CI/Abnahme oder externe Abhängigkeit
    status: in-progressIn Bearbeitung; Verifikation noch nicht abgeschlossen
    status: needs-userWartet auf Entscheidung, Test oder Freigabe durch Christian
    and removed
    status: blockedTechnisch blockiert: fehlgeschlagene CI/Abnahme oder externe Abhängigkeit
    status: in-progressIn Bearbeitung; Verifikation noch nicht abgeschlossen
    on Sep 28, 2026

  7. iret77 commented on Oct 1, 2026

    @iret77
    iret77
    on Oct 1, 2026
    CollaboratorAuthor

    Mit #477 auf main gemergt (Merge-Commit c0af4484e). Wartet auf Christians Freigabe des ersten Batch-Laufs (release-approve "ci-batch.yml --ref main") und danach auf die native bzw. Laufzeit-Abnahme. Die echte Zwei-Host-/Provider-Runtime-Abnahme bleibt zusätzlich offen.

  8. iret77
    added the
    Task
    issue type on Oct 1, 2026

  9. iret77 commented on Oct 9, 2026

    @iret77
    iret77
    on Oct 9, 2026
    CollaboratorAuthor

    Abschluss

    Erledigt: Das Paritäts-Gate ist vollständig.

    • CI: cockpit-parity-audit.yml läuft im manuellen ci-batch (cargo check und die fokussierten Cockpit-/Daemon-Suiten). Zuletzt grün im ci-batch 37208729131 auf 9ce5af67c.
    • Regressionen schlagen fehl: self-test mit 28 Negativ- und Positivfällen sowie drei echte Produktionsmutationen im CI-Lauf.
    • Audit-Bericht mit SHA-Ledger: specs/GH-160/REFERENCE_AUDIT.md, zuletzt Stage 9 vom 09.10.2026 (Zaplex 0ba54c049, claudeplex 8c2041ff6, claudeplex-desktop 8c0aad0a9).
    • Normal-, Schmal- und Reduced-Motion-Prüfung: specs/parity/cockpit-screenshots.spec.ts.
    • Mit fix(cockpit): Restlücken aus #160 schließen und ci-batch-Blocker beheben #537 (Merge ac693dbd1) prüft die Matrix 107 benannte Tests in neun Szenarien, darunter zwei neue Belege für Topologiewechsel und ruhende Historie. validate und self-test bestanden.

    Bewusst nicht mehr offen: Der manuelle Zwei-Host-Laufzeittest (specs/parity/COCKPIT_RUNTIME_SMOKE.md) braucht echte Hardware. Nach der neuen Vorgabe hält eine native Einzelabnahme das Issue nicht offen; das Verfahren bleibt dokumentiert.

    Nicht verifiziert: Auf dem aktuellen main ist noch kein grüner Paritätslauf vorhanden. Der ci-batch auf b813a4759 brach vor den Tests ab (Guard-Muster und E0599, beides behoben in #537). Compile, Tests, Mutationen und Screenshots laufen erst im nächsten gebündelten ci-batch.

  10. iret77
    removed
    status: needs-userWartet auf Entscheidung, Test oder Freigabe durch Christian
    on Oct 9, 2026
  11. iret77
    closed this as completedon Oct 9, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    tech-debtTechnical debt, conventions, tooling gates

    Type

    Task

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions