Compare commits
3
Commits
dc08e3ec4f
...
afbad0cb50
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
afbad0cb50 | ||
|
|
3555432cd7 | ||
|
|
9da9ec58cc |
+172
@@ -0,0 +1,172 @@
|
|||||||
|
# EJBCA Issuing: automatisierte Migration von H2 nach PostgreSQL
|
||||||
|
|
||||||
|
## Start
|
||||||
|
|
||||||
|
Die Datei `migrate_ejbca_issuing.py` auf den Docker-Host nach
|
||||||
|
`/root/migrate_ejbca_issuing.py` hochladen. Nicht den Quelltext aus einem Chat
|
||||||
|
in das Terminal kopieren. Auf dem Docker-Host als root ausführen:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
python3 /root/migrate_ejbca_issuing.py
|
||||||
|
```
|
||||||
|
|
||||||
|
Die Issuing-CA wird nach den Vorprüfungen gestoppt und bleibt bis zum anschließenden
|
||||||
|
Portainer-Update außer Betrieb. Die Root-CA wird weder gestoppt noch verändert.
|
||||||
|
Der Lauf kann mehrere Minuten dauern. Keine zweite Instanz des Skripts starten.
|
||||||
|
|
||||||
|
## Voraussetzungen und festgelegter Umfang
|
||||||
|
|
||||||
|
- Linux-Docker-Host mit Python ab 3.9; keine zusätzlichen Python-Pakete nötig.
|
||||||
|
- Quelle: Container `ejbca_issuing`, ein Volume `ejbca_issuing_data` unter
|
||||||
|
`/mnt/persistent`, Netzwerk `cert-net`, keine veröffentlichten Host-Ports.
|
||||||
|
- Das bereits geprüfte EJBCA-Image wird über seinen Digest festgelegt:
|
||||||
|
`keyfactor/ejbca-ce@sha256:183b86af44b9b13e7cc8912c868f635aeb8dba6bf056ccbd4683b17626964d0a`.
|
||||||
|
- Die konfigurierte H2-Datei muss direkt unter `/mnt/persistent` liegen.
|
||||||
|
- Der H2-Treiber muss dem bereits geprüften H2 2.2.224 entsprechen.
|
||||||
|
- Das Skript ist für die gezeigte Konfiguration mit Software-CryptoTokens gebaut.
|
||||||
|
Bei inaktiven Tokens, HSMs, unbekannten Datentypen, anderen Mounts oder
|
||||||
|
nicht unterstützten Containeroptionen bricht es ab.
|
||||||
|
- Es benötigt ausreichend freien Speicher für die Volumesicherung, zwei
|
||||||
|
Anwendungskopien, H2-Arbeitskopien und zwei PostgreSQL-Volumes.
|
||||||
|
- PostgreSQL 17 und Java 17 werden bei Bedarf vor der Ausfallzeit heruntergeladen.
|
||||||
|
|
||||||
|
## Bereits vorhandene Issuing-Sicherung
|
||||||
|
|
||||||
|
Vor dem Stoppen prüft das Skript die im Chat bestätigten Sicherungen:
|
||||||
|
|
||||||
|
- `/root/ejbca-backup/ejbca_issuing.tar.gz`
|
||||||
|
- `/mnt/HEIMLAN/001-Zertifikate/EJBCA-Backup/2026-09-24/ejbca_issuing.tar.gz`
|
||||||
|
|
||||||
|
Mindestens eine Kopie muss erreichbar sein. Jede vorhandene Kopie wird anhand
|
||||||
|
der damaligen SHA-256-Prüfsummen des Archivs und der enthaltenen H2-Datei
|
||||||
|
geprüft. Bei einer Abweichung bricht das Skript vor dem Stoppen ab. Die Archive
|
||||||
|
werden ausschließlich gelesen, niemals überschrieben oder entpackt.
|
||||||
|
|
||||||
|
Zusätzlich wird nach dem Stoppen ein aktueller Stand gesichert und für die
|
||||||
|
Migration verwendet. Issuing lief seit der alten Sicherung weiter; deshalb
|
||||||
|
wird kein älterer Datenstand zurückgespielt. Ein Unterschied der H2-Dateien
|
||||||
|
wird protokolliert und ist kein Fehler. Er beweist allein keine fachliche
|
||||||
|
Datenänderung. `existing-backups.json` und `backup-comparison.json` dokumentieren
|
||||||
|
die Prüfung im neuen Arbeitsverzeichnis.
|
||||||
|
|
||||||
|
## Ablauf
|
||||||
|
|
||||||
|
1. Containerkonfiguration und Image prüfen, JDBC-Treiber und SQL-Skripte aus dem
|
||||||
|
vorhandenen Issuing-Container extrahieren, Java-Helfer kompilieren.
|
||||||
|
2. Issuing stoppen, vollständiges Originalvolume als TAR sichern, H2-Datei
|
||||||
|
separat kopieren und beide Kopien über SHA-256 vergleichen.
|
||||||
|
3. H2 Recover ausschließlich auf einer Arbeitskopie ausführen. Alle im Dump
|
||||||
|
gefundenen binären Hilfsspalten von VARCHAR auf VARBINARY korrigieren.
|
||||||
|
Der ursprüngliche Dump bleibt erhalten. Ein neues temporäres H2-Passwort
|
||||||
|
wird ausschließlich für die Rekonstruktion verwendet.
|
||||||
|
4. Neue H2-Datenbank erzeugen. Alle nichtleeren Tabellenzahlen mit den
|
||||||
|
Recover-INSERTs und alle Binärwerte einschließlich ihrer Längen und
|
||||||
|
SHA-256-Werte mit den Hexliteralen im ursprünglichen Dump vergleichen.
|
||||||
|
5. Neue Testdatenbank in einem internen Netzwerk erstellen. Den aus dem
|
||||||
|
Root-Verfahren abgeleiteten JDBC-Helper ausführen. Tabellen-/Zeilenzahlen
|
||||||
|
werden aus der Issuing-Quelle ermittelt. Spaltenzuordnung, Datentypen,
|
||||||
|
Fremdschlüssel, Leerheit, vollständige Werte und Rowcounts werden geprüft.
|
||||||
|
Inserts erfolgen in einer Transaktion. Der Helper kennt ausschließlich
|
||||||
|
`ejbca_issuing_migration_test_db`.
|
||||||
|
6. Alle 44 PostgreSQL-Indizes vor dem ersten EJBCA-Teststart anlegen. Die vier
|
||||||
|
DELETE-Befehle im Originalskript werden durch eine Abbruchprüfung ersetzt.
|
||||||
|
7. Testanwendung mit kopiertem Volume, erhaltenen Verschlüsselungs-/CLI-Einstellungen,
|
||||||
|
ohne veröffentlichte Ports und in einem internen Netzwerk starten.
|
||||||
|
Bereitschaft, Fehlerlogs, CA-Liste, Tokenstatus und alle erkannten
|
||||||
|
Software-Schlüsselpaare prüfen. Danach Testanwendung stoppen.
|
||||||
|
8. Ausschließlich das vom Skript neu angelegte Testschema erneut aufbauen und
|
||||||
|
die ursprünglichen Issuing-Daten plus Indizes importieren. Somit werden keine
|
||||||
|
beim Teststart erzeugten Zertifikate oder anderen Änderungen übernommen.
|
||||||
|
9. Sauberen Dump erstellen. Neue endgültige Datenbank `ejbca_issuing_db` in
|
||||||
|
`ejbca-issuing-db-net` erstellen, Dump transaktional wiederherstellen und
|
||||||
|
Tabellenzahlen, vollständige Zeilen-Digests sowie Indizes vergleichen.
|
||||||
|
10. Eigenes dauerhaftes App-Volume aus dem gestoppten Original kopieren und die
|
||||||
|
fertige Compose-Datei für den bestehenden Portainer-Stack erzeugen.
|
||||||
|
|
||||||
|
Das Skript exportiert keine privaten Schlüssel als separate Dateien und stellt
|
||||||
|
keine Zertifikate per CLI aus. Der EJBCA-Teststart selbst kann ein Serverzertifikat
|
||||||
|
in seiner isolierten Testdatenbank anlegen. Sicherungen und Datenbank-Dumps
|
||||||
|
enthalten selbstverständlich vertrauliche CA-Daten.
|
||||||
|
|
||||||
|
## Ergebnis
|
||||||
|
|
||||||
|
Am Ende zeigt das Skript das neu generierte Passwort für **Issuing-PostgreSQL**
|
||||||
|
und die vollständige Compose-Konfiguration direkt im lokalen Terminal an.
|
||||||
|
Dieses Passwort ist nicht das alte H2-Passwort, kein Root-CA-Passwort und kein
|
||||||
|
CryptoToken-PIN. Vorhandene Schlüssel-/Verschlüsselungspasswörter werden nicht
|
||||||
|
geändert. Die Compose-Datei enthält das neue DB-Passwort bereits; keine zusätzliche
|
||||||
|
Portainer-Variable ist erforderlich.
|
||||||
|
|
||||||
|
Alle Dateien liegen in einem neuen, nur für root zugänglichen Verzeichnis:
|
||||||
|
|
||||||
|
```text
|
||||||
|
/root/ejbca-issuing-migration/run-DATUM-UHRZEIT-ZUFALL/
|
||||||
|
```
|
||||||
|
|
||||||
|
Wichtige Dateien:
|
||||||
|
|
||||||
|
- `docker-compose.issuing.yml`: fertige Konfiguration für den vorhandenen
|
||||||
|
Portainer-Stack `ejbca-issuing`.
|
||||||
|
- `credentials.private.json`: erzeugte H2-, Test- und endgültige DB-Zugangsdaten.
|
||||||
|
- `original.inspect.json`, `original-volume.tar`, `original.mv.db` und
|
||||||
|
`original.sha256`: Originalkonfiguration und geprüfte Sicherungen.
|
||||||
|
- `recover/ejbcadb.h2.sql`: ursprünglicher Recover-Dump.
|
||||||
|
- `restored/`: binärsicher rekonstruierte H2-Quelle; SQL enthält ein temporäres Passwort.
|
||||||
|
- `source-inventory.tsv`, `migration.log`, `key-tests.log`, `report.json`:
|
||||||
|
Prüfresultate ohne vollständige Nutzdaten.
|
||||||
|
- `issuing-clean.dump` und `.sha256`: sauberer Export vor Anwendungsstart.
|
||||||
|
- `verify-after-deploy.sh`: Bereitschafts- und Schlüsseltests nach dem Deployment.
|
||||||
|
- `docker-compose.database-reference.yml`: Dokumentation des bereits vom Skript
|
||||||
|
gestarteten DB-Containers. Nicht als zusätzlichen Stack deployen, solange dieser
|
||||||
|
Container existiert.
|
||||||
|
|
||||||
|
Das Skript ersetzt/deployt den bestehenden Issuing-Container **nicht automatisch**.
|
||||||
|
Die endgültige PostgreSQL-Datenbank läuft bereits mit einem benannten Volume und
|
||||||
|
Restart-Policy `unless-stopped`. Die Testanwendung ist gestoppt.
|
||||||
|
|
||||||
|
## Portainer-Update und Abschluss
|
||||||
|
|
||||||
|
1. Nach erfolgreichem Skriptende in Portainer den bestehenden Stack
|
||||||
|
`ejbca-issuing` öffnen.
|
||||||
|
2. Den Editorinhalt durch `docker-compose.issuing.yml` ersetzen.
|
||||||
|
3. Stack aktualisieren. Das festgelegte Image bleibt die getestete Version.
|
||||||
|
4. Nach etwa 90 Sekunden den erzeugten Prüfblock ausführen:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
sh /root/ejbca-issuing-migration/run-DATUM-UHRZEIT-ZUFALL/verify-after-deploy.sh
|
||||||
|
```
|
||||||
|
|
||||||
|
5. In der gewohnten Adminoberfläche Issuing-CA und Profile kontrollieren.
|
||||||
|
6. Nach erfolgreichem Abschluss einen aktuellen PostgreSQL-Dump sichern und
|
||||||
|
regelmäßige Datenbankbackups vorsehen. Alte H2-Sicherungen vorerst behalten.
|
||||||
|
|
||||||
|
Bestehende TLS-/Adminzugangseinstellungen werden übernommen. Insbesondere wird
|
||||||
|
`TLS_SETUP_ENABLED=simple`, falls vorhanden, durch dieses Migrationsskript nicht
|
||||||
|
auf Clientzertifikatsanmeldung umgestellt.
|
||||||
|
|
||||||
|
## Bei einem Fehler
|
||||||
|
|
||||||
|
Das Skript bricht ab und stoppt seine eigene Testanwendung, soweit sie bereits
|
||||||
|
angelegt wurde. Es löscht keine vorhandenen Container/Volumes automatisch.
|
||||||
|
Nach begonnenen Arbeiten nicht blind erneut ausführen: vorhandene Zielnamen
|
||||||
|
führen absichtlich zum Abbruch.
|
||||||
|
|
||||||
|
Die ursprüngliche Issuing-Compose-Konfiguration und das ursprüngliche H2-Volume
|
||||||
|
bleiben unverändert. Die ursprüngliche Anwendung kann bereits gestoppt sein.
|
||||||
|
Solange noch kein Portainer-Update erfolgt ist und niemand die Originalkonfiguration
|
||||||
|
geändert hat, kann sie bei Bedarf mit `docker start ejbca_issuing` wieder auf dem
|
||||||
|
alten H2-Stand laufen. Danach ist eine frühere Migrationskopie möglicherweise
|
||||||
|
veraltet und darf nicht ohne neuen Abgleich eingesetzt werden.
|
||||||
|
|
||||||
|
Zur Diagnose zunächst nur die Abbruchmeldung und `progress.log` weitergeben.
|
||||||
|
`private-errors.log`, `test-start.private.log`, JSON-Konfigurationen, SQL-Dumps und
|
||||||
|
Compose-Dateien können Geheimnisse enthalten; nicht ungeschwärzt posten.
|
||||||
|
|
||||||
|
## Prüfstatus dieses Lieferstands
|
||||||
|
|
||||||
|
Python-Syntax und lokale Tests für SQL-Lexer, Binärkorrektur, Abbruchfälle,
|
||||||
|
Indexkonvertierung und Compose-Werte wurden geprüft. Der JDBC-Migrationscode
|
||||||
|
ist aus dem auf deinem Host ausgeführten Root-Helper abgeleitet; das Original
|
||||||
|
bleibt unverändert. Ein vollständiger Docker-/EJBCA-Durchlauf wurde in dieser
|
||||||
|
Arbeitsumgebung nicht ausgeführt. Die Java-Helfer werden auf dem Docker-Host
|
||||||
|
vor dem Stoppen der Issuing-Anwendung kompiliert.
|
||||||
@@ -0,0 +1,97 @@
|
|||||||
|
#!/usr/bin/env python3
|
||||||
|
"""Finish only the verified Issuing migration run; never deploy the app."""
|
||||||
|
import importlib.util
|
||||||
|
import json
|
||||||
|
import os
|
||||||
|
from pathlib import Path
|
||||||
|
import subprocess
|
||||||
|
import sys
|
||||||
|
|
||||||
|
RUN = Path('/root/ejbca-issuing-migration/run-20260924-163240-49d64d')
|
||||||
|
DUMP_HASH = '23e989f0c39ee7abc1491833cb37b61827029091e8b5f8aaa8148251f74f83be'
|
||||||
|
|
||||||
|
|
||||||
|
def main():
|
||||||
|
if os.geteuid() != 0:
|
||||||
|
raise RuntimeError('Als root auf dem Docker-Host ausfuehren.')
|
||||||
|
os.umask(0o077)
|
||||||
|
spec = importlib.util.spec_from_file_location('migration', '/root/migrate_ejbca_issuing.py')
|
||||||
|
m = importlib.util.module_from_spec(spec)
|
||||||
|
spec.loader.exec_module(m)
|
||||||
|
m.WORK = RUN
|
||||||
|
m.check(m.APP == 'ejbca_issuing' and m.FINAL_DB == 'ejbca_issuing_db', 'Unerwartete Zielnamen.')
|
||||||
|
for app in (m.APP, m.TEST_APP):
|
||||||
|
m.check(m.inspect(app)['State']['Status'] == 'exited', app + ' muss gestoppt sein.')
|
||||||
|
original = json.loads((RUN / 'original.inspect.json').read_text())
|
||||||
|
current = m.inspect(m.APP)
|
||||||
|
for key in ('Id', 'Image', 'Config', 'Mounts', 'HostConfig'):
|
||||||
|
m.check(current[key] == original[key], 'Originalkonfiguration hat sich geaendert: ' + key)
|
||||||
|
m.check(current['Image'] == m.EXPECTED_IMAGE, 'Unerwartetes EJBCA-Image.')
|
||||||
|
image = json.loads(m.docker('image', 'inspect', m.EXPECTED_IMAGE))[0]
|
||||||
|
m.check(m.EJBCA_IMAGE in image.get('RepoDigests', []), 'EJBCA-Digest fehlt.')
|
||||||
|
dump = RUN / 'issuing-clean.dump'
|
||||||
|
m.check(m.digest(dump) == DUMP_HASH, 'Pruefsumme des sauberen Exports stimmt nicht.')
|
||||||
|
expected = {t: tuple(v) for t, v in json.loads((RUN / 'clean-counts-and-digests.json').read_text()).items()}
|
||||||
|
m.check(len(expected) == 37 and sum(v[0] for v in expected.values()) == 129,
|
||||||
|
'Erwartetes Inventar stimmt nicht.')
|
||||||
|
m.check(expected['userdatasourcedata'][0] == 0, 'userdatasourcedata muss leer sein.')
|
||||||
|
m.check(m.snapshot(m.TEST_DB) == expected, 'Saubere Testdatenbank wurde zwischenzeitlich veraendert.')
|
||||||
|
for line in (RUN / 'original.sha256').read_text().splitlines():
|
||||||
|
checksum, name = line.split()
|
||||||
|
m.check(name in ('original.mv.db', 'original-volume.tar'), 'Unerwarteter Sicherungspfad.')
|
||||||
|
m.check(m.digest(RUN / name) == checksum, 'Originalsicherung stimmt nicht: ' + name)
|
||||||
|
url = m.envmap(current['Config'])['DATABASE_JDBC_URL']
|
||||||
|
m.check(url.startswith('jdbc:h2:/mnt/persistent/'), 'Quelle ist nicht mehr H2.')
|
||||||
|
dbfile = url.split(';')[0].removeprefix('jdbc:h2:') + '.mv.db'
|
||||||
|
checkfile = RUN / 'original-current-check.mv.db'
|
||||||
|
m.docker('cp', m.APP + ':' + dbfile, str(checkfile))
|
||||||
|
checkfile.chmod(0o600)
|
||||||
|
m.check(m.digest(checkfile) == m.digest(RUN / 'original.mv.db'), 'Original-H2 wurde seit der Sicherung veraendert.')
|
||||||
|
credentials = json.loads((RUN / 'credentials.private.json').read_text())
|
||||||
|
m.FINAL_PASSWORD = credentials['issuing_pg']
|
||||||
|
m.check(bool(m.FINAL_PASSWORD), 'Zielpasswort fehlt.')
|
||||||
|
# Reuse exactly the PostgreSQL image used by the verified test database.
|
||||||
|
pgimage = json.loads(m.docker('image', 'inspect', m.inspect(m.TEST_DB)['Image']))[0]
|
||||||
|
m.PG_PIN = next((d for d in pgimage.get('RepoDigests', []) if d.startswith('postgres@')), None)
|
||||||
|
m.check(m.PG_PIN, 'PostgreSQL-Image-Digest fehlt.')
|
||||||
|
m.absent('container', [m.FINAL_DB])
|
||||||
|
m.absent('network', [m.FINAL_NETWORK])
|
||||||
|
m.absent('volume', [m.FINAL_DB_VOLUME, m.FINAL_APP_VOLUME])
|
||||||
|
for name in ('docker-compose.issuing.yml', 'docker-compose.database-reference.yml'):
|
||||||
|
m.check(not (RUN / name).exists(), 'Compose-Datei existiert bereits: ' + name)
|
||||||
|
print('Vorpruefungen erfolgreich. Neues Issuing-PostgreSQL-Ziel wird erstellt.', flush=True)
|
||||||
|
m.docker('network', 'create', '--internal', m.FINAL_NETWORK)
|
||||||
|
m.create_pg(m.FINAL_DB, m.FINAL_DB_VOLUME, m.FINAL_NETWORK, m.FINAL_PASSWORD)
|
||||||
|
m.docker('exec', '-i', m.FINAL_DB, 'pg_restore', '-U', 'ejbca', '-d', 'ejbcadb',
|
||||||
|
'--exit-on-error', '--single-transaction', data=dump.read_bytes(), timeout=3600)
|
||||||
|
m.check(m.snapshot(m.FINAL_DB) == expected, 'Endgueltiges Ziel weicht vom sauberen Stand ab.')
|
||||||
|
m.check(m.inspect(m.APP)['State']['Status'] == 'exited', 'Original-App wurde gestartet.')
|
||||||
|
m.copy_volume(m.FINAL_APP_VOLUME)
|
||||||
|
m.write_compose(original, m.envmap(image['Config']))
|
||||||
|
if subprocess.run(['docker', 'compose', 'version'], stdout=subprocess.DEVNULL,
|
||||||
|
stderr=subprocess.DEVNULL).returncode == 0:
|
||||||
|
m.docker('compose', '-f', str(RUN / 'docker-compose.issuing.yml'), 'config', '--quiet')
|
||||||
|
(RUN / 'finish-report.json').write_text(json.dumps({
|
||||||
|
'dump_sha256': DUMP_HASH, 'rows': 129, 'tables': 37, 'valid_additional_indexes': 44,
|
||||||
|
'app_deployed': False, 'offline_token': 'ImportedCryptoToken264870329',
|
||||||
|
'offline_token_key_tested': False,
|
||||||
|
'active_token_key_tests': '5 successful tests reported by operator in chat'
|
||||||
|
}, indent=2))
|
||||||
|
print('OK: Ziel wiederhergestellt und vollstaendig mit dem sauberen Stand verglichen.')
|
||||||
|
print('Die Issuing-App bleibt gestoppt. Deployment erfolgt anschliessend in Portainer.')
|
||||||
|
print('\nISSUING-POSTGRESQL-PASSWORT (vertraulich):\n' + m.FINAL_PASSWORD)
|
||||||
|
print('\nCOMPOSE FUER DEN BESTEHENDEN STACK ejbca-issuing:\n')
|
||||||
|
print((RUN / 'docker-compose.issuing.yml').read_text())
|
||||||
|
print('Die database-reference-Datei NICHT als weiteren Stack deployen.')
|
||||||
|
print('Passwort und Compose nicht in den Chat posten. Ergebnisverzeichnis: ' + str(RUN))
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == '__main__':
|
||||||
|
try:
|
||||||
|
main()
|
||||||
|
except (Exception, KeyboardInterrupt) as exc:
|
||||||
|
# Avoid displaying command outputs or configuration containing secrets.
|
||||||
|
print('ABBRUCH: ' + (str(exc) if type(exc).__name__ in ('MigrationError', 'RuntimeError')
|
||||||
|
else type(exc).__name__), file=sys.stderr)
|
||||||
|
print('Vorhandene Ressourcen bleiben erhalten. Nicht blind erneut starten.', file=sys.stderr)
|
||||||
|
sys.exit(1)
|
||||||
File diff suppressed because one or more lines are too long
@@ -0,0 +1 @@
|
|||||||
|
2c69fc5001d7fe09e8251bf379cb4121594387c6617ec011c97345a8f8af7443 migrate_ejbca_issuing.py
|
||||||
Binary file not shown.
Reference in New Issue
Block a user