Files
HiveGrid-Wireframes/03 Quellen und Referenzen/hivegrid-cloud/.planning/ticket-docs/HIVEGRID-198.md
T

13 KiB

HIVEGRID-198 · Produktion auf 10 VMs trennen und Promote-/DNS-Prozess fertigstellen

Feld Wert
Typ Infra / Deployment
Owner Raffael
Phase Production
Cycle Backlog, am 2026-07-27 gestartet
Status Done

Abhängigkeiten & Parallelität

  • blocked-by: Im Plane-Ticket und in den lokalen Ticket-Docs ist kein blocked-by hinterlegt.
  • blocks: Im Plane-Ticket und in den lokalen Ticket-Docs ist kein nachgelagertes blocks-Ticket hinterlegt.
  • Die bestehenden Runtime-Verträge aus R-P1a, AD-30, VR-MCP und dem Realtime-Modul bleiben unverändert. Der Cutover darf sie nur auf getrennte Hosts verschieben.
  • Die Produktion bleibt bis zum vollständigen Promote- und Smoke-Proof auf den alten Runtimes erreichbar. Alte Ressourcen werden erst nach dem Beobachtungsfenster bereinigt.

Was wir bauen

Die bestehende HiveGrid-Produktion wird kontrolliert von fünf auf zehn klar getrennte VMs erweitert. Neu hinzu kommen eigene Hosts für Website, Portal, Admin, MCP und Realtime. Alle Hosts werden gehärtet, an Hetzner-Privatnetz, WireGuard-Mesh, Coolify sowie zentrales Logging und Monitoring angebunden.

Die vorhandenen Build-once-/Stage-/Promote-Verträge werden vollständig produktionsfähig gemacht. Production erhält exakt die in Staging geprüften SHA-/OCI-Digests; Migrationen laufen einmalig vor der Runtime-Mutation. DNS wechselt Service für Service mit dokumentiertem Rollback.

Verbindlicher Realtime-Hostname ist realtime.hivegrid.de.

Vom User am 2026-07-27 ausdrücklich in den Arbeitsumfang aufgenommen: ein eigenes Lago-Production-Setup mit separatem, versioniertem Object Storage, verschlüsseltem Backup und verifiziertem Restore-Drill. Mollie-Live-Side-Effects bleiben bis zum Abschluss der externen Gates in EXT-16 ausdrücklich deaktiviert.

Zielbild

  1. Control/Coolify
  2. App/Web
  3. API
  4. Worker und private Seitendienste
  5. Datenbank/Stateful
  6. Website
  7. Portal inklusive Portal-Domain-Controller
  8. Admin nur über VPN/WireGuard und Authentik
  9. MCP
  10. Realtime/Hocuspocus

Nicht im Scope

  • Kubernetes
  • Load Balancer oder horizontale Replikation
  • Umzug der HiveGrid-Anwendungsdatenbank
  • automatische Skalierung
  • Aktivierung von Mollie-Live-Zahlungen vor KYC-, Legal- und Live-Key-Proof
  • Löschung alter Ressourcen vor Ende des Beobachtungsfensters

Scope-Übergabe an HIVEGRID-207

Der User hat am 2026-07-28 entschieden, den noch ausstehenden autorisierten Production-E2E-Proof, das daran anschließende 72-Stunden-Beobachtungsfenster und die spätere Bereinigung der alten Rollback-Ressourcen als eigenständigen operativen Nachzug in HIVEGRID-207 zu backloggen.

HIVEGRID-198 schließt damit den Infrastruktur-, Cutover-, Promote-, DNS-, Backup-/Restore- und Observability-Scope ab. Die ausgelagerten Arbeiten werden unten transparent weitergeführt, zählen aber nicht mehr zur DoD dieses Tickets. Die alten Rollback-Ressourcen bleiben bis zum Sign-off von HIVEGRID-207 unangetastet.

Definition of Done

  • Hetzner-Limit ist mindestens 12.
  • Fünf neue VMs sind erstellt, gehärtet und im privaten Netz/Coolify eingebunden.
  • Logging, Monitoring und Healthchecks sind für alle fünf neuen Hosts grün.
  • Website, Portal, Admin, MCP und Realtime laufen auf den vorgesehenen VMs.
  • Admin hat eine echte fail-closed Runtime-Surface und ist nur über VPN/WireGuard plus Authentik erreichbar.
  • Alle internen Verbindungen und DB-Rollen sind privat und nach Least Privilege geprüft.
  • DNS, TLS und Cloudflare-Konfiguration sind für alle öffentlichen Hosts korrekt.
  • HiveGrid-Cloud promotet exakt den getesteten SHA/Digest auf alle benötigten Production-Ressourcen.
  • HiveGrid-Website promotet exakt den getesteten SHA/Digest auf die Website-Production-Ressource.
  • Cloudflare-Purge nutzt Account/Zone korrekt, läuft nur beim Promote und bestätigt success=true.

Fortschritt: 10/10 Infra-DoD = 100 % done.

Ausgelagerter operativer Nachzug

Diese Punkte sind unverändert verpflichtend, werden aber vollständig in HIVEGRID-207 getrackt:

  • Alle autorisierten Production-End-to-End-Smoke-Tests sind grün.
  • Das 72-Stunden-Beobachtungsfenster ist stabil abgeschlossen und alte Rollback-Ressourcen wurden erst danach bereinigt.

Technische Bausteine

  • Hetzner Cloud fsn1, privates Produktionsnetz und WireGuard-Mesh
  • Coolify Projekt HiveGrid, Environment production, eine Resource pro Runtime
  • Cloudflare SSL strict; Public Records erst nach Origin-Zertifikats-Proof proxied; Admin ohne öffentlichen A/AAAA-Record
  • realtime.hivegrid.de als umgebungsneutraler Hocuspocus-Gateway-Hostname
  • Gitea Package Registry und bestehender Build-once-/Promote-Workflow
  • einmaliger Migrator vor Runtime-Rollout; keine Runtime-Migrations-Credentials
  • getrennte Least-Privilege-Rollen für App, Portal, Worker und Admin-JIT
  • private Lago-API, eigenes PostgreSQL/Redis, eigener S3-Bucket und restic-Backup

Quellen

  • Plane HIVEGRID-198
  • AGENTS.md, Abschnitt „Estate-Infrastruktur“
  • docs/deployment.md
  • docs/ops/prod-rollout-hivegrid.md
  • docs/ops/lago-production-prep.md
  • docs/ARCHITECTURE-DECISIONS.md, insbesondere AD-30
  • Infra: README.md, STANDARDS.md, LESSONS.md
  • Infra: runbooks/hivegrid-production-split-cutover.md
  • Infra: diagrams/hivegrid-production-topology.md

Umsetzungs-Notiz

2026-07-27

  • Hetzner-Limit bestätigt und fünf CX23-Hosts in fsn1 erstellt.
  • Alle neuen Hosts gehärtet, privat vernetzt, ins WireGuard-Mesh und in Coolify aufgenommen; Monitoring, Logs und Host-Health sind grün.
  • Separate Coolify-Ressourcen für Website, Portal, Admin, MCP und Realtime angelegt. DNS-01-Origin-Zertifikate und der private Admin-Split-DNS-Pfad sind vorbereitet; öffentliche Records wurden noch nicht umgeschaltet.
  • Runtime-Rollen, RLS, PgBouncer-Pfad und Produktions-Allowlist nach Least Privilege geprüft. Die Migrationshistorie wurde über den einmaligen Promote-Migrator auf den aktuellen Stand gebracht; die alte Runtime blieb danach gesund.
  • Lago Production mit eigener Datenbank, Redis, privater API, deaktiviertem Signup und separatem versioniertem Object Storage provisioniert. Der verschlüsselte Snapshot 73b2c338 wurde vollständig in disposable PostgreSQL/Redis plus API, Frontend, Worker, Billing-Worker und PDF-Service restauriert. Der S3-Schreib-/Lese-/Lösch-Canary war grün.
  • Mollie-Live ist weiterhin nicht freigegeben. Die Runtime benötigt deshalb den expliziten Schalter PRODUCT_ACQUISITION_PROVIDER_SIDE_EFFECT_REQUIRED=false; ungültige Werte und fehlende Provider-Konfiguration im aktivierten Modus schlagen fail-closed fehl.
  • Tests: Typecheck und Lint grün; Vollsuite nach der Gate-Änderung mit 1.122 Testdateien und 7.821 Tests grün, 10 Dateien beziehungsweise 60 Tests erwartungsgemäß übersprungen. CI-Proof folgt vor Promote.
  • Lokale Commits: Cloud Runtime-Gate 85fac5bb7; Infra Backup/Restore und Runbook 936a32a.

2026-07-28

  • Die fünf neuen Produktions-VMs tragen den Live-Traffic: Website 188.34.157.34, Portal 167.233.117.104, Admin privat auf 10.42.0.14, MCP 2.28.5.232 und Realtime 2.28.5.14. Alle elf Cloud-Ressourcen und alle fünf Worker-Gruppen sind gesund.
  • DNS/TLS-Cutover abgeschlossen: hivegrid.de/www, portal inklusive Domain-Controller, mcp und realtime laufen über Cloudflare mit SSL strict. admin.hivegrid.de hat bei öffentlichen Resolvern keinen Record, die öffentliche Admin-IP bietet kein HTTPS. Über den WireGuard-Meshpfad liefert Admin den exakten Release und leitet fail-closed zu auth.tool-ctrl.de weiter.
  • HiveGrid-Cloud PR #281 wurde normal gemergt. Staging Run 11387 und Production Promote Run 11389 sind für den exakten Merge-SHA ce08af27b217aa55ccc5daab5ffe66b995ccb3f4 grün. Core, Admin und Portal verwenden denselben Web-Digest sha256:ca579bc0c39dea6b6b865c095457a5508edf455e59b80394f51942b4a49ece81. API, MCP, Realtime und Worker melden ebenfalls exakt diesen Commit über ihre eigenen unveränderlichen Digests.
  • Die Website läuft auf Revision 5271afc und Digest sha256:2d776182df98c36cb47e7c710860e48d1ae3331a48d60cce271f1787c207c7b6. Production Run 11385 war grün; der abschließende Cloudflare-Purge bestätigte success=true.
  • Frischer Backup-Gate-Proof für den Promote: PostgreSQL-Restic-Snapshot b10d7874 von 2026-07-28T00:09:30Z, Repository-Check ohne Fehler, Prüfsumme gültig und vollständiger Restore in PostgreSQL 16 mit 373 öffentlichen Tabellen, 212 Prisma-Migrationen und 372 FORCE-RLS-Tabellen. Die Live-Datenbank wurde beim Drill nicht verändert.
  • Production-Acceptance-Hotfix aded46303: Bei PRODUCT_ACQUISITION_PROVIDER_SIDE_EFFECT_REQUIRED=false wird kein Mollie-Reconciler gebootstrapped und ein vorhandener 5-Minuten-Scheduler entfernt. Web/API/Worker verwenden bei leerem SENTRY_RELEASE den unveränderlichen APP_REVISION. Proof: Typecheck, Lint, Release-Build, Runtime-/Deploy-Verträge, 107 fokussierte Tests und die Vollsuite mit 1.122 Testdateien beziehungsweise 7.823 bestandenen Tests; alle elf zentralen PR-CI-Gates grün.
  • Öffentliche Acceptance: Health/Readiness für Core, Portal, API und MCP jeweils HTTP 200 auf dem exakten Release; API unauthentifiziert 401 und mit Service-Token 200; MCP-Metadaten mit korrektem Issuer und zwölf Scopes, tokenloser Initialize-Aufruf 401 mit Bearer-Challenge; Realtime-WebSocket Upgrade 101.
  • Monitoring: Prometheus 34/34 aktive Targets UP, inklusive beider Exporter auf allen zehn Hosts. Loki liefert aktuelle Production-Logs aller zehn Hosts mit project, environment, server, service. Zehn Minuten nach dem Rollout meldete Sentry für Web, API und Worker jeweils null aktuelle Production-Issues; seit dem neuen Worker-Rollout erschien auch in Loki keine Meldung des zuvor periodischen UnsupportedWorkerJobError.
  • Rollback-Snapshots liegen lokal unter ~/.cli-tokens/hivegrid-dns-before-hivegrid-198-20260727T143742Z.json und ~/.cli-tokens/hivegrid-coolify-before-hivegrid-198-20260727T143827Z.json. Das Infra-Runbook dokumentiert Release-first-/DNS-second-Rollback, Forward-only-Migrationen, Backups und das 72-Stunden-Fenster.
  • Noch offen: ein freigegebener echter Production-Login für Core-Read/Write, Portal-Login/Upload/Logout, Admin-JIT, autorisierten MCP-Aufruf und autorisierten Realtime-Roundtrip. Für den Rollout wurde bewusst kein Production-Passwort zurückgesetzt und keine Testidentität erfunden. Erst nach diesen Checks beginnt das verbindliche 72-Stunden-Fenster; alte Rollback-Ressourcen bleiben bis zu dessen Sign-off bestehen.
  • Der Promote wurde für beide Repositories auf einen input-freien manuellen Run vereinfacht. HiveGrid-Website PR #6 wurde normal gemergt; Run 11405 promotete den live auf Staging geprüften Release ec9402a ohne Neubau nach Production und bestätigte dort dieselbe Revision.
  • HiveGrid-Cloud behandelt einen manuellen Run von main jetzt ausschließlich als Production-Promote. Der Workflow liest den vollständigen SHA aus der live Staging-Core-Health-Antwort, prüft Service/Surface, Main-Ancestry und alle sechs staging-OCI-Digests und behält RLS-, Migrator-, Runtime-, Health- und Digest-Gates unverändert bei. Der manuelle Start ist die auditierte Operator-Bestätigung der zuvor geprüften Backup- oder Restore-Point-Bereitschaft.
  • Lokaler Proof für den Cloud-Nachzug: Typecheck und Lint grün; 185 fokussierte Deploy-/Readiness-Tests grün; verify:gitea-ci-workflow, verify:deploy-workflow, verify:deploy-readiness, verify:ci-baseline und verify:source-health grün; Vollsuite mit 1.122 bestandenen Testdateien beziehungsweise 7.823 bestandenen Tests, 10 Dateien beziehungsweise 60 Live-Integrationstests erwartungsgemäß übersprungen.
  • Abschluss-Proof der input-freien Workflows: HiveGrid-Cloud Staging-Run 11409 und Production-Promote 11411 sind für d060e626ccebe84d5df01717c9b04c8b3ff6fd15 grün; Staging und Production melden für Core, Portal, API und MCP exakt diesen Release. Der nachfolgende Website-Run 11412 promotete Dejans neuen Staging-Stand cfd08ee ohne Eingaben; staging.hivegrid.de und hivegrid.de meldeten danach beide cfd08ee.
  • User-Entscheidung vom 2026-07-28: Production-E2E, das daran anschließende 72-Stunden-Fenster und die Altressourcen-Bereinigung werden in HIVEGRID-207 weitergeführt. Die bestehenden Rollback-Ressourcen bleiben bis zu dessen Sign-off erhalten.

Stand: 10/10 Infra-DoD = 100 % done · operativer Nachzug vollständig nach HIVEGRID-207 übertragen.