Files
HiveGrid-Wireframes/03 Quellen und Referenzen/hivegrid-cloud/.planning/ticket-docs/CI-05.md
T

351 lines
26 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# CI-05 · Docker-Smoke: Runner-Isolation, Fail-fast-Timeouts und Diagnostik
| | |
|---|---|
| **Typ** | Dev (CI/Infra) |
| **Owner** | Raffael |
| **Phase** | P1 · Querschnitt/CI |
| **Cycle/Fenster** | v2-W1 · 2026-07-18 |
| **Status** | abgeschlossen · **6/6 DoD = 100 % done** |
## Abhängigkeiten & Parallelität
- **Blocked by:** keine. Die Repository-Härtung ist unabhängig von Produktcode ausführbar.
- **Blocks:** `VA-P26a` ausschließlich für einen vertrauenswürdigen Remote-Docker-Proof. Die fachlichen
Staging-/UAT-Gates von `VA-P26a` bleiben davon getrennt. `VA-P26b` und `VA-P26c` sind nur transitiv
über `VA-P26a` betroffen; es werden keine redundanten direkten Kanten angelegt.
- **Läuft parallel zu:** Produktarbeit, solange keine fremden Actions-Läufe abgebrochen und keine
Shared-Runner-/Docker-Daemon-Ressourcen neu gestartet werden.
- **Konflikt-Risiko:** hoch auf dem geteilten Docker-Daemon. Deshalb sind lauf-spezifische
Runtime-Ressourcen, ausschließlich gesperrte Dependency-Caches und begrenzte Prozessgruppen Teil
des Ticket-Scopes. Die fünf Root-Closures entstehen parallel innerhalb eines gemeinsamen,
atomaren Bundle-Schritts. Diese Isolation erlaubt Parallelität ohne Namens- oder Cache-Kollisionen.
## Auslöser und Befund
Der Docker-Smoke in Actions-Lauf `10527`, Job `44007`, baute rund 79 Minuten alle Images, bevor der
Worker-Smoke nach 1:21 Minuten mit Exit 1 und nur zwei Prisma-Ladezeilen scheiterte. Web-, Portal-,
API- und MCP-Runtime waren zuvor grün. Parallel laufende PR-Jobs verwendeten dieselben globalen
`hivegrid-*:smoke`-Tags, dieselbe Fake-Revision und denselben Host-Docker-Daemon. Auf `node1` wurden
gleichzeitig extreme Last, fehlende Snapshot-Layer, festhängende Container-Entfernung und
Healthcheck-/FIFO-Timeouts beobachtet. Ein retained-image-Probecontainer beendete seinen Prozess mit
Exit 0, blieb aber im Docker-Status `removing` hängen. Das belegt die Runner-/Daemon-Fehlerklasse,
nicht einen reproduzierbaren Worker-Produktfehler.
Zusätzlich läuft auf `node1` noch ein Runner, der `timeout-minutes` nicht wirksam durchsetzt. Dieses
Ticket baut deshalb einen vom Runner unabhängigen Prozessgruppen-Hardcap ein. Ein Runner-Upgrade ist
ein separater operativer Rollout und autorisiert keinen Neustart während aktiver Jobs.
## Was wir bauen
Den vorhandenen Gitea-Docker-Smoke so härten, dass PR-Läufe den geteilten Daemon nicht gegenseitig
verfälschen, ein kaputter Worker früh sichtbar wird und jeder Build-/Runtime-Schritt eine echte
Obergrenze sowie verwertbare, secret-sichere Fehlerausgabe besitzt. Der Smoke bleibt ein lokaler
Build gegen den persistenten BuildKit-Cache; es werden keine Images publiziert und keine
Produktions-/Staging-Ressourcen verändert.
## Definition of Done
- [x] **Lauf-Isolation:** echte `gitea.sha`-Revision; Image-Tags sowie Container-, DB-, Redis-,
Netzwerk- und Controller-Volume-Namen enthalten `run_id` + `run_attempt`. Globale `:smoke`-Tags,
Fake-SHA und kollidierende `/tmp`-Dateien sind im CI-Pfad ausgeschlossen.
- [x] **Parallel-sichere Cache- und Laufisolation:** die gemeinsamen Dependency-Layer bleiben über
einen ausschließlich gesperrten, selbstheilenden Store deduplizierbar. Alle fünf
Production-Closures entstehen parallel in einem atomaren Bundle-Layer, danach laufen ihre
Prune-/SBOM-Stages ohne Store-Mount. Lauf-spezifische Runtime-Ressourcen erlauben Smokes
verschiedener Refs ohne globale Job-Sperre; supersedierte Läufe werden abgebrochen statt weiter
in der Queue zu stehen.
- [x] **Zwei-Wellen-Ausführung und gezielter Retry:** alle sechs Images bauen kontrolliert parallel
und werden vollständig eingesammelt; erst nach dieser Barriere laufen alle sechs unveränderten,
service-isolierten Runtime-Smokes parallel. Jeder Zieltyp bleibt einzeln erneut ausführbar und
nutzt dabei das revisionsgleiche Web-Migrator-Image.
- [x] **Echte Zeitgrenzen und Cleanup:** portable Prozessgruppen-Timeouts begrenzen Suite, Builds,
Runtime-Smokes, Docker-Probes, Logs und Cleanup. TERM wird nach kurzer Grace-Period zu KILL
eskaliert; Exit 124 ist eindeutig. Cleanup erhält den ursprünglichen Fehlerstatus und kann den
Job nicht endlos blockieren.
- [x] **Verwertbare, secret-sichere Diagnostik:** Stage, Dauer und Exit/Signal werden ausgegeben,
aber weder argv noch Environment. Migrations-/`db push`-Fehler werden nicht unterdrückt;
Containerlogs sind zeitlich und per Tail begrenzt. Keine `ERR`-/`BASH_COMMAND`-Ausgabe.
- [x] **Proof:** Workflow-/Runtime-Vertragstests, Typecheck, Lint und vollständige Testsuite sind
lokal grün. Ein isolierter Gitea-Lauf beweist entweder den vollständigen grünen Docker-Smoke oder
einen innerhalb des definierten Budgets abgebrochenen Fehler mit benannter Stage und Diagnose.
## Technische Bausteine
- `.gitea/workflows/ci.yml`: superseded-run-Cancellation, `gitea.run_id`/`run_attempt`, echte SHA und
runner-unabhängiger Suite-Hardcap.
- `Dockerfile` und `scripts/ci/deploy-production-closures.sh`: ein deduplizierter, gesperrter und
selbstheilender v2-Store; Fetch plus fünf parallele Offline-Deploys bilden gemeinsam einen
atomaren Closure-Layer, danach bleiben Pruning und SBOM target-spezifisch.
- `scripts/ci/docker-smoke-suite.sh`: Zwei-Wellen-Orchestrator mit `all` sowie einzelnen Targets;
run-spezifische Tags, Build-Barriere, Web-Migrator-Reuse und pro Phase begrenzte Ausführung.
- `scripts/lib/run-command-with-timeout.mjs`: portabler Node-24-Prozessgruppen-Runner ohne Shell-
Interpolation oder Ausgabe von Kommandoargumenten/Environment.
- `scripts/lib/docker-runtime-smoke.sh`: gemeinsame Bash-3.2-Helfer für Run, Capture, Probe,
Tail-Logs und statusbewahrenden Cleanup.
- `scripts/docker-*-runtime-smoke.sh`: lauf-spezifische Ressourcen, sichtbare Migrationen,
begrenzte Diagnostik/Cleanup.
- `scripts/verify-gitea-ci-workflow.mjs` und Vertragstests: negative Guards gegen Fake-SHA, globale
Tags, erneut eingeführte Job-Serialisierung, unkontrollierte Parallelität und fehlende Timeouts.
## Retry-Vertrag
Ein fehlgeschlagener Lauf behält seine run-spezifischen Image-Tags. Auf demselben Runner kann exakt
ein Target mit identischer Run-ID und Revision erneut ausgeführt werden, zum Beispiel
`DOCKER_SMOKE_RUN_ID=<run>-<attempt> DOCKER_SMOKE_REVISION=<sha> bash
scripts/ci/docker-smoke-suite.sh worker`. Fehlt das passende Web-Migrator-Image oder stimmt sein
Revision-Label nicht, baut der Orchestrator nur dieses notwendige Image nach. Erfolgreiche Retries
ersetzen keinen vollständigen CI-Proof.
## Rollback
Repository-Rollback: Workflow auf den vorherigen monolithischen Docker-Smoke zurücksetzen und die
neuen Orchestrator-/Helper-Dateien entfernen. Bereits erzeugte run-spezifische Tags und Ressourcen
sind reine CI-Artefakte; sie können erst nach read-only Namensprüfung durch die bestehende
Runner-Prune-Routine entfernt werden. Kein Daemon-Neustart, kein pauschales Löschen und keine
Änderung an Staging/Produktion gehören zu diesem Rollback.
## Quellen
- Gitea Actions `10519/43979`, `10527/44007` und paralleler Lauf `10523`
- Erfolgreicher isolierter Docker-Proof: Gitea Actions `10574/44135`
- `.gitea/workflows/ci.yml` · `scripts/docker-*-runtime-smoke.sh`
- `docs/AGENT-CHECKLIST.md` · `AGENTS.md` §Estate-Infrastruktur/Deploy
- `infra/STANDARDS.md` · `infra/LESSONS.md` (Shared Runner und Docker-Daemon)
## Umsetzungs-Notiz
2026-07-18 · Raffael: Ticket nach Runner-/Workflow-Forensik angelegt. Der Produktbranch von
`VA-P26a` bleibt unverändert. **Startstand: CI-05: 0/6 DoD = 0 % done · 6 Punkte selbst machbar.**
2026-07-18 · Raffael: Der Docker-Smoke ist lokal auf lauf-spezifische Images, Container, Netze und
Volumes umgestellt und ref-übergreifend serialisiert. Der neue sequenzielle Orchestrator prüft Web
und Worker zuerst, bietet einen revisionsgebundenen Einzel-Target-Retry und beendet die Gesamtsuite
runner-unabhängig nach spätestens 42 Minuten. Jeder Build-, Migrations-, Rollen-, Runtime-, Probe-,
Log- und Cleanup-Pfad besitzt einen benannten Prozessgruppen-Timeout mit TERM/KILL-Eskalation.
Erwartete fachliche Ablehnungen benötigen zusätzlich zu ihrem Exit 1 einen ausschließlich im
laufenden Container erzeugten Marker; Timeout 124, Spawn-, Transport- und Docker-Daemon-Fehler
können Negativtests nicht mehr falsch-grün machen. Cleanup ist bei bereits
fehlenden Ressourcen idempotent, meldet aber hängende oder nachweislich verbliebene Ressourcen,
ohne den ursprünglichen Jobstatus zu überschreiben. Environment-Werte und Kommandoargumente werden
nicht in Wrapper-Diagnosen ausgegeben.
**Lokaler Proof:** Typecheck und Lint grün; vollständige Suite: 957 Testdateien und 6.598 Tests
bestanden, 10 Dateien beziehungsweise 55 Tests erwartungsgemäß übersprungen. Die fokussierten
Timeout-/Runtime-/Workflow-Verträge sind 190/190 grün. Gitea-CI-Vertrag 167/167,
Deploy-Vertrag 201/201, Portal-Controller-Vertrag 27/27, CI-Baseline 35/35, Source-Health 19/19,
Docker-Baseline 309/309 und Non-Root 4/4 grün. Secret-Scan: 0 reale Treffer. `bash -n`, ShellCheck
auf Warning-Level und `git diff --check` sind grün. Das unabhängige Diff-Review wurde bis zu den
Negativtest-, RLS-Provisionierungs- und Cleanup-Fehlerklassen nachgezogen; alle konkreten Findings
sind mit Regressionstests geschlossen.
Der erste Remote-Qualitätslauf zeigte zusätzlich eine Linux-spezifische Test-Harness-Falle: Der
Gitea-Jobcontainer verwendet keinen reaping Init-Prozess, sodass bereits getötete Enkelprozesse als
Zombies in `/proc` sichtbar bleiben und `kill(pid, 0)` weiter erfolgreich ist. Der Test akzeptiert
jetzt ausschließlich die Linux-States `Z`/`X`/`x` oder `ENOENT` als terminiert; laufende und
gestoppte States bleiben rot. Die produktive Timeout-Logik war davon nicht betroffen.
**Remote-Proof:** PR `#159`, Actions-Lauf `10574`, Docker-Job `44135`, Revision
`794cf1caadf11d96ecb197dfe2850999c70d88f8`. Der Job war nach 35:44 Minuten grün; die isolierte
Suite selbst nach 34:46,190 Minuten. Web, Worker, API, MCP, Hocuspocus und Portal-Controller waren
vollständig grün. Der Web-Build blieb mit 18:13 Minuten unter seinem 20-Minuten-Limit. Der danach
früh ausgeführte Worker-Build dauerte 3:20 Minuten; `runtime:worker` war nach 45,456 Sekunden grün,
einschließlich der zuvor unsichtbaren Migration in 31,753 Sekunden sowie Health-, Revisions-,
Negativ- und Cleanup-Probes. Der Gesamtlauf war nur wegen der oben beschriebenen Linux-Zombie-
Fehlklassifikation im separaten Unit-Test-Job rot; der Test-Harness-Fix ist lokal mit zehn
Wiederholungen, 190/190 fokussierten Tests und der vollständigen Suite verifiziert.
**Stand:** CI-05: **6/6 DoD = 100 % done · 0 Punkte offen, 0 selbst machbar**. Es wurden weder
fremde Actions-Läufe abgebrochen noch Runner, Docker-Daemon, Staging oder Produktion verändert.
### Performance-Nachzug nach Laufzeit-Regression
2026-07-19 · Raffael: Die historische Gegenprobe zeigt den harten Laufzeitknick: Mit allen sechs
Targets war der Docker-Smoke in Run `10389` noch nach 8:58 Minuten fertig. Nach globalem
`sharing=locked`, fünf zusätzlichen Production-Store-Rehydrationen und der vollständigen
Serialisierung brauchten Runs `10424`, `10440` und `10519` 32:56, 25:18 und 25:15 Minuten. Der
Controller beziehungsweise die Anzahl der Targets ist damit nicht die Hauptursache.
Der Nachzug nutzt den bereits warmen, ausschließlich gesperrt gemounteten v2-Store in genau einem
Production-Bundle-Schritt. Dieser versucht alle fünf Offline-Deploys innerhalb desselben Locks parallel
in getrennte `/prod/*`-Ziele. Bei einem vollständigen Warm-Store-Treffer entfällt `pnpm fetch` komplett.
Erst nach einem Fehlschlag werden alle fünf Child-Prozesse eingesammelt, genau die fünf Zielverzeichnisse
gelöscht, der Store mit einem frozen Fetch selbst geheilt und die vollständige parallele Welle einmal
wiederholt. Fetch- und Retry-Fehler bleiben fail-closed. Die Closures werden gemeinsam als regulärer
Layer-Output committed; Pruning und SBOM laufen anschließend pro Target außerhalb des Store-Locks.
Damit bleibt die Selbstheilung nach BuildKit-Garbage-Collection erhalten, ohne eine vorsorgliche
Store-Rehydration oder fünf serialisierte Deploys. Der Full-Smoke läuft in zwei kontrollierten parallelen
Wellen. Alle Build-Childs werden vor dem Start der Runtime-Welle vollständig eingesammelt;
alle Runtime-Ressourcen bleiben service- und laufisoliert. Die globale Job-Sperre entfällt und
supersedierte PR-/Branch-Läufe blockieren den Runner nicht mehr. Der bereits parallele Deploy
profitiert ohne Änderung seiner Release-, Signatur-, Migrations- oder Runtime-Gates von demselben
Fetch-once-/Deploy-parallel-Vertrag.
Ein verworfener Zwischenstand mit fünf getrennten kalten Stores wurde in Run `10647` bewusst
fail-closed widerlegt: Alle fünf Production-Targets erreichten parallel ihre Fetch-/Deploy-Stufe,
erzeugten danach 20 Minuten lang keinen Fortschritt und liefen gemeinsam in den Build-Timeout.
Hocuspocus war bereits nach 1:37 Minuten grün. Der Fetch-once-/Deploy-parallel-Vertrag ersetzt deshalb
diesen Zwischenstand; fünf vollständige parallele Kalt-Fetches sind nicht Teil des Ergebnisses.
Run `10653` bestätigte anschließend die gemeinsame Prime-Barriere, widerlegte aber einen read-only
gemounteten Store: Alle fünf Deploys starteten innerhalb von 0,2 Millisekunden und scheiterten mit
`ERR_SQLITE_ERROR`, weil pnpm 11 seinen Store-Index auch bei `--offline deploy` schreibbar öffnet.
Der Store bleibt deshalb nach dem Prime für pnpm-Metadaten schreibbar. Die Deploys enthalten
weiterhin keinen eigenen Paket-Fetch.
Run `10663` bestätigte den parallelen Writable-Deploy vollständig: Der Docker-Smoke war nach 12:47
Minuten grün, alle fünf Deploys starteten innerhalb von 0,6 Millisekunden, luden null Pakete nach und
alle sechs Runtime-Smokes bestanden in einer 1:47-Minuten-Welle. Der absichtlich pro Lauf leere
Zwischenstore verursachte dabei aber noch 1.655 Downloads beziehungsweise 6:14 Minuten Prime-Zeit.
Weil dies das Ziel weniger Minuten verfehlte, entfernt der finale Bundle-Vertrag diesen Run-Scope
wieder: v2 wird im gesamten Dockerfile ausschließlich `sharing=locked` verwendet; andere Refs können
den Store daher während Fetch und der intern parallelen Deploys weder lesen noch verändern.
Run `10665` lieferte den entscheidenden Zwischen-Proof: Der gemeinsame Store meldete 1.655 wiederverwendete
und null heruntergeladene Pakete, trotzdem kostete der noch vorsorglich ausgeführte Fetch 222,9 Sekunden;
die fünf parallelen Deploys danach nur rund 25 Sekunden. Der Web-Build war mit 13:16 Minuten Critical Path,
davon entfielen allein 185,4 Sekunden auf einen Layer-Copy. Beim Jobstart liefen auf dem geteilten
Docker-Host bereits 114 Container. Direkt nach dem I/O-intensiven Export blockierten fünf Runtime-
Docker-Kommandos exakt am bisherigen 30-Sekunden-Limit und der Web-Artefaktcheck am 60-Sekunden-Limit.
Die Image-Builds selbst waren vollständig grün; der Worker-Service-Job scheiterte unabhängig davon nach
fünf Sekunden im Checkout am defekten Runner-Action-Cache, bevor Repository-Code lief.
Der finale Nachzug überspringt deshalb den belegten 222,9-Sekunden-Hot-Path, entfernt außerdem die
ungenutzte `docker/setup-buildx-action` samt 83 Sekunden Setup und rund 14 Sekunden Post-Cleanup und setzt
BuildKit direkt über `DOCKER_BUILDKIT=1`. Die parallel ausgeführten gesunden Runtime-Pfade werden nicht
verlangsamt; nur ihre harten Docker-Kommando-/Artefakt-Caps steigen von 30/60 auf 90/180 Sekunden, damit
kurze Daemon-Lastspitzen keinen falschen roten Lauf erzeugen.
**Lokaler Proof:** Ein echter, durch die Helper-Änderung invalidierter Build der
`production-deps-bundle`-Stufe meldete alle fünf Starts innerhalb einer Millisekunde, null Downloads,
alle fünf erfolgreichen Abschlüsse und `READY source=warm-store`; die Bundle-RUN selbst brauchte 20,6
Sekunden. Der Fetch-Fallback, exakte Cleanup-Grenzen, vollständiges PID-Reaping, genau ein Retry und die
Fehlerweitergabe sind durch positive und negative Verträge geschützt. Die vier fokussierten Testdateien
sind 246/246 grün; Gitea-CI-Vertrag 170/170, Docker-Baseline 329/329 und Controller-Deploy-Vertrag 31/31
grün. Typecheck, Lint und die vollständige Suite sind grün: 971 Testdateien beziehungsweise 6.724 Tests
bestanden, 10 Dateien beziehungsweise 55 Tests wurden erwartungsgemäß übersprungen. ShellCheck,
Dockerfile-Check, Action-Pins, Non-Root 4/4 und `git diff --check` sind ebenfalls grün. Der Remote-Lauf
des finalen Nachzugs liefert den abschließenden Wallclock-Proof; bis dahin wird keine konkrete neue
Zielzeit als erreicht behauptet.
**Stand nach Performance-Nachzug:** CI-05 bleibt **6/6 DoD = 100 % done**. Die sechs Prüfoberflächen,
Timeouts, Diagnostik, Einzel-Target-Retries und Laufisolation bleiben vollständig erhalten.
**Temporäre Runner-Entlastung (2026-07-19):** Der separate Gitea-A11y-Workflow ist bis einschließlich
2026-07-22 nur manuell startbar. Die schnellen A11y-Verträge in der Haupt-CI bleiben aktiv. Danach
wird der separate Workflow mit UI-fokussierten Pfadfiltern wieder für Pull Requests aktiviert.
Der im ersten Remote-Lauf beobachtete Portal-Controller-Fehler war ein reproduzierbarer Test-Flake:
30 Sekunden Produktions-Lease waren im Test auf 30 Millisekunden komprimiert und konnten unter
Runner-Last vor dem JavaScript-Heartbeat ablaufen. Nur die zwei zeitabhängigen Tests wurden auf
virtuelle Timer umgestellt; die Lock-Implementierung bleibt unverändert. Proof: 64 parallele
Fokusläufe mit Parallelität 16 sowie der Controller-Typecheck sind grün.
Der Database-Check in Run `10653` traf denselben Lasttyp: Ein gesunder kalter
`postgres:16-alpine`-Start war nach rund 32 Sekunden bereit, während das Fixture bereits nach
30 Versuchen fail-closed abbrach. Nur das begrenzte Init-Fenster wurde auf 90 Sekunden erweitert;
Migration und Assertions bleiben unverändert. Der lokale Clean-/Legacy-/Concurrency-Proof ist
13/13 grün.
### Performance-Nachzug: CI- und Deploy-Critical-Path
2026-07-19 · Raffael: Der Deploy läuft künftig auf dem dedizierten Homeserver-Runner
`homeserver-hivegrid-deploy` mit Kapazität 1 und ausschließlich dem Label `toolctrl-deploy`. Die
Registrierung ist repository-scoped auf `toolctrl-labs/HiveGrid-Cloud`; der zunächst zu breit
registrierte Runner wurde vor Nutzung deaktiviert, gelöscht und seine Registrierung widerrufen.
Der operative Aufbau, die Repo-Scope-Prüfung und der Recovery-Pfad sind im separaten Infra-PR `#4`
dokumentiert. Preflight und Stage/Promote bleiben fail-closed, laufen nun aber in einem einzigen
Runner-Job. Dadurch entfallen ein zusätzlicher Queue-Slot sowie ein zweiter Checkout, eine zweite
Installation und ein zweiter Cache-Restore bei der Promotion. Die Produktions-Migrationskontrolle
verwendet den bereits exakt auf die freigegebene SHA gebundenen Workspace erneut.
Jeder Staging-Build importiert nur das vorherige target-spezifische `:staging`-Image und exportiert
den Cache inline mit dem ohnehin erforderlichen SHA-Image. Damit kann der neue Runner nach einem
kalten Start Cache-Metadaten per Pull wiederverwenden, ohne sechs tote `build-cache:*`-Lookups oder
einen separaten, nach dem eigentlichen Build zusätzlich fehleranfälligen Registry-Cache-Push. Die
Coolify-Abfrage läuft alle zwei statt fünf Sekunden; das harte Fehlerbudget bleibt unverändert bei
450 Sekunden. Healthchecks behalten ihre 30-Sekunden-Steady-State-Frequenz und erhalten nur während
des Startfensters ein Zwei-Sekunden-Intervall.
Der PR-CI-Job erzeugt den Prisma-Client einmal vor den Lesern und überlappt danach Typecheck/Lint,
Foundation/Package-Tests und Core-Tests. Die Parallelität ist explizit begrenzt: vier Core-Worker,
zwei Foundation-Worker sowie höchstens zwei Package-Prozesse mit jeweils einem Worker. So bleibt
der Wallclock-Gewinn erhalten, ohne den geteilten 20-CPU-Runner neben den sechs Docker-Builds in
Swap zu drücken. Docker-Builds rufen Prisma und die Build-Skripte ohne zusätzliche pnpm-Wrapper auf,
erzeugen die vier DB-Runtime-Artefakte in einem Node/esbuild-Prozess und lassen `.map`/`.d.ts`
bereits beim finalen BuildKit-Copy aus. Coverage und Bundle-Budget brechen supersedierte PR-Läufe
jetzt ebenso ab wie die Haupt-CI.
**Lokaler Proof:** Sechs unabhängige CI-/Deploy-/Docker-Verifier und 315 fokussierte Vertrags-Tests
sind grün. Typecheck, Lint, Foundation- und Package-Suiten sind grün. Der auf vier Worker begrenzte
Core-Rerun bestand 972 Testdateien und 6.743 Tests; 10 Dateien beziehungsweise 55 Tests wurden
erwartungsgemäß übersprungen, Wallclock 2:22,70 Minuten. Ein bewusst gleichzeitig ausgeführter
kalter Portal-Controller-Build provozierte zuvor genau einen zeitabhängigen Core-Flake; der
unbelastete identische Core-Rerun war vollständig grün. Das reale Controller-Image wurde danach
erfolgreich geladen und beweist Nonroot-UID 1000, exaktes Revisionslabel, SBOM sowie null
`.map`-/`.d.ts`-Dateien unter finalem `node_modules`. `git diff --check` ist grün. Der neue Remote-Lauf
`10674` lieferte den Full-Docker- und Wallclock-Proof: Alle sechs Images und Runtime-Smokes waren in
16:35 Minuten grün; die eigentliche Build-Welle brauchte rund zwölf Minuten statt der zuvor beobachteten
80 Minuten. Typecheck/Test war nach 13:07 Minuten grün, sein paralleler Quality-Block nach 7:23 Minuten;
Bundle-Budget und Coverage waren nach 9:34 beziehungsweise 4:12 Minuten grün. Der einzige rote Job
scheiterte vor jedem Repository-Schritt im bekannten parallelen Action-Cache-Race des alten
`gitea/act_runner` v0.6.1. Der node1-CI-Runner und der Homeserver-Deploy-Runner wurden deshalb bei
vollständig leerer Queue auf den digest-gepinnten `gitea/runner` v1.0.8 gehoben; der Upstream-Fix ist
seit v1.0.2 enthalten.
Der Wiederanlauf des Homeserver-Runners deckte zusätzlich einen bestätigten Docker-Engine-29.2.1-
BuildKit-Panic im History-Listener auf. Bis zum kontrollierten Host-Upgrade auf die gefixte Engine-Linie
29.4+ nutzt jeder Staging-Deploy deshalb denselben `docker-container`-Builder mit digest-gepinntem
BuildKit v0.31.2. Seine History ist auf 24 Stunden/20 Einträge, sein Cache auf 30 GB sowie 100 GB freien
Host-Speicher und seine Parallelität auf zwölf Build-Schritte begrenzt. Er startet erst direkt vor der
Build-Welle und wird danach auch bei regulären Fehlern gestoppt, aber nicht gelöscht; dadurch bleiben die
begrenzten Paket-Cache-Mounts warm. Jeder folgende serialisierte Deploy stoppt zuerst eine verwaiste
Host-Instanz; `restart-policy=no` verhindert ihren automatischen Wiederanlauf nach einem Docker-Neustart.
Der Staging-Pfad prüft Host-Image, Restart-Policy und die tatsächlich geladene TOML unabhängig von den
frischen Buildx-Client-Metadaten des Jobcontainers. Ein Hard-Abbruch kann damit nur diese eine stabile
Instanz bis zum nächsten Deploy hinterlassen, aber kein weiteres Cache-Volume erzeugen. Der reale
Fresh-Client-Boot/Stop/Restart beweist Driver `docker-container`, BuildKit v0.31.2, Cache-Erhalt und die
übernommenen GC-Grenzen. Promotionen bauen weiterhin kein Image neu.
Der erste Lauf nach der Runner-Umstellung (`10684`–`10686`) bestätigte den Effekt: Bundle-Budget war
nach 4:22 Minuten und Coverage nach 3:29 Minuten grün. Die Haupt-CI brauchte vom ersten bis zum letzten
Job 16:09 Minuten; Docker Smoke war nach 15:05 Minuten grün, davon 14:13 Minuten für die Suite und rund
12:01 Minuten für die Build-Welle. Static 1/2, Build, API, MCP, Hocuspocus, Worker, Controller und DB
brauchten 2:32/6:03, 7:30, 3:16, 1:37, 2:15, 3:52, 2:05 und 7:33 Minuten. Der grüne Hocuspocus-Lauf
bestätigt insbesondere, dass das frühere Action-Cache-Race unter Runner v1.0.8 nicht wieder auftrat.
Der einzige rote Job dieses Laufs waren zwei lastabhängige 20-Sekunden-Testtimeouts. Die beiden alten
Marketing-Report-Fixtures kopierten pro Negativfall rekursiv rund 41 MB beziehungsweise 4.896 Dateien;
zusammen erzeugten sie etwa 248 MB und 29.000 Dateikopien im Docker-Overlay. Die Tests verlinken nun die
nur gelesenen vollständigen `apps`-/`packages`-/`prisma`-Oberflächen und kopieren ausschließlich die
wenigen mutierten Doku-Fixtures. Dadurch bleibt der globale 20-Sekunden-Guard scharf; außerdem enthält
die KB-Fixture jetzt die zuvor fehlende `packages`-Oberfläche. Der Fokuslauf ist 8/8 grün bei rund
0,23 Sekunden je Datei. Typecheck, Lint und der vollständige lokale Lauf sind ebenfalls grün:
973 Testdateien und 6.762 Tests bestanden; 10 Dateien beziehungsweise 55 Tests wurden erwartungsgemäß
übersprungen. Der Folge-Lauf liefert den abschließenden Remote-Proof.
**Stand nach CI-/Deploy-Nachzug:** CI-05 bleibt **6/6 DoD = 100 % done · 0 Punkte offen,
0 selbst machbar**. RLS-, Migrations-, Signatur-, SBOM-, Nonroot-, Revision- und Runtime-Gates wurden
nicht gelockert.
Der zweite Remote-Lauf (`10687`–`10689`) bestätigte den inkrementellen Docker-Cache: Eine reine
Test-/Planungsänderung reduzierte die Build-Welle von rund zwölf auf 2:46 Minuten; alle sechs
Anwendungs-Layer wurden wiederverwendet. Drei Runtime-Smokes brachen danach nicht an Migrationen oder
Anwendungschecks ab, sondern während ihre frischen Postgres-Container unter der parallelen Hostlast
noch im Post-Bootstrap liefen. Die bereits zentral definierte 90er Readiness-Grenze ersetzt deshalb
für alle fünf DB-Smokes die versehentlich hart codierten 30 Versuche. TCP-Readiness, Fail-closed-Exit,
Logs und der äußere 420-Sekunden-Hardcap bleiben unverändert. Der Cleanup bleibt begrenzt, erhält aber
15 statt fünf Sekunden; die drei fehlgeschlagenen Container-Entfernungen hatten jeweils erst nach dem
bisherigen 5+2-Sekunden-Budget abgebrochen. Erfolgreiche Probes und Cleanups kehren weiterhin sofort
zurück.
Der gleichzeitig rote Coverage-Lauf war ein unabhängiges Listener-Race im WebSocket-Gateway-Test:
Ein 15-ms-Heartbeat konnte den Socket schließen, bevor der Test nach der Authentifizierung seinen
`close`-Listener registrierte. Der Listener wird nun vor der Authentifizierung gesetzt; produktiver
Code, Heartbeat-Intervall und globales 20-Sekunden-Testlimit bleiben unverändert. Der Fokusproof ist
130/130 grün; Gitea-CI-Vertrag 173/173, Docker-Baseline 355/355 und deren negative Vertrags-Suiten
165/165 sind grün. Der neue Remote-Lauf liefert den abschließenden End-to-End-Proof.
**Stand nach Robustheits-Nachzug:** CI-05 bleibt **6/6 DoD = 100 % done · 0 Punkte offen,
0 selbst machbar**.