Compare commits
3
Commits
dc08e3ec4f
...
afbad0cb50
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
afbad0cb50 | ||
|
|
3555432cd7 | ||
|
|
9da9ec58cc |
+172
@@ -0,0 +1,172 @@
|
||||
# EJBCA Issuing: automatisierte Migration von H2 nach PostgreSQL
|
||||
|
||||
## Start
|
||||
|
||||
Die Datei `migrate_ejbca_issuing.py` auf den Docker-Host nach
|
||||
`/root/migrate_ejbca_issuing.py` hochladen. Nicht den Quelltext aus einem Chat
|
||||
in das Terminal kopieren. Auf dem Docker-Host als root ausführen:
|
||||
|
||||
```bash
|
||||
python3 /root/migrate_ejbca_issuing.py
|
||||
```
|
||||
|
||||
Die Issuing-CA wird nach den Vorprüfungen gestoppt und bleibt bis zum anschließenden
|
||||
Portainer-Update außer Betrieb. Die Root-CA wird weder gestoppt noch verändert.
|
||||
Der Lauf kann mehrere Minuten dauern. Keine zweite Instanz des Skripts starten.
|
||||
|
||||
## Voraussetzungen und festgelegter Umfang
|
||||
|
||||
- Linux-Docker-Host mit Python ab 3.9; keine zusätzlichen Python-Pakete nötig.
|
||||
- Quelle: Container `ejbca_issuing`, ein Volume `ejbca_issuing_data` unter
|
||||
`/mnt/persistent`, Netzwerk `cert-net`, keine veröffentlichten Host-Ports.
|
||||
- Das bereits geprüfte EJBCA-Image wird über seinen Digest festgelegt:
|
||||
`keyfactor/ejbca-ce@sha256:183b86af44b9b13e7cc8912c868f635aeb8dba6bf056ccbd4683b17626964d0a`.
|
||||
- Die konfigurierte H2-Datei muss direkt unter `/mnt/persistent` liegen.
|
||||
- Der H2-Treiber muss dem bereits geprüften H2 2.2.224 entsprechen.
|
||||
- Das Skript ist für die gezeigte Konfiguration mit Software-CryptoTokens gebaut.
|
||||
Bei inaktiven Tokens, HSMs, unbekannten Datentypen, anderen Mounts oder
|
||||
nicht unterstützten Containeroptionen bricht es ab.
|
||||
- Es benötigt ausreichend freien Speicher für die Volumesicherung, zwei
|
||||
Anwendungskopien, H2-Arbeitskopien und zwei PostgreSQL-Volumes.
|
||||
- PostgreSQL 17 und Java 17 werden bei Bedarf vor der Ausfallzeit heruntergeladen.
|
||||
|
||||
## Bereits vorhandene Issuing-Sicherung
|
||||
|
||||
Vor dem Stoppen prüft das Skript die im Chat bestätigten Sicherungen:
|
||||
|
||||
- `/root/ejbca-backup/ejbca_issuing.tar.gz`
|
||||
- `/mnt/HEIMLAN/001-Zertifikate/EJBCA-Backup/2026-09-24/ejbca_issuing.tar.gz`
|
||||
|
||||
Mindestens eine Kopie muss erreichbar sein. Jede vorhandene Kopie wird anhand
|
||||
der damaligen SHA-256-Prüfsummen des Archivs und der enthaltenen H2-Datei
|
||||
geprüft. Bei einer Abweichung bricht das Skript vor dem Stoppen ab. Die Archive
|
||||
werden ausschließlich gelesen, niemals überschrieben oder entpackt.
|
||||
|
||||
Zusätzlich wird nach dem Stoppen ein aktueller Stand gesichert und für die
|
||||
Migration verwendet. Issuing lief seit der alten Sicherung weiter; deshalb
|
||||
wird kein älterer Datenstand zurückgespielt. Ein Unterschied der H2-Dateien
|
||||
wird protokolliert und ist kein Fehler. Er beweist allein keine fachliche
|
||||
Datenänderung. `existing-backups.json` und `backup-comparison.json` dokumentieren
|
||||
die Prüfung im neuen Arbeitsverzeichnis.
|
||||
|
||||
## Ablauf
|
||||
|
||||
1. Containerkonfiguration und Image prüfen, JDBC-Treiber und SQL-Skripte aus dem
|
||||
vorhandenen Issuing-Container extrahieren, Java-Helfer kompilieren.
|
||||
2. Issuing stoppen, vollständiges Originalvolume als TAR sichern, H2-Datei
|
||||
separat kopieren und beide Kopien über SHA-256 vergleichen.
|
||||
3. H2 Recover ausschließlich auf einer Arbeitskopie ausführen. Alle im Dump
|
||||
gefundenen binären Hilfsspalten von VARCHAR auf VARBINARY korrigieren.
|
||||
Der ursprüngliche Dump bleibt erhalten. Ein neues temporäres H2-Passwort
|
||||
wird ausschließlich für die Rekonstruktion verwendet.
|
||||
4. Neue H2-Datenbank erzeugen. Alle nichtleeren Tabellenzahlen mit den
|
||||
Recover-INSERTs und alle Binärwerte einschließlich ihrer Längen und
|
||||
SHA-256-Werte mit den Hexliteralen im ursprünglichen Dump vergleichen.
|
||||
5. Neue Testdatenbank in einem internen Netzwerk erstellen. Den aus dem
|
||||
Root-Verfahren abgeleiteten JDBC-Helper ausführen. Tabellen-/Zeilenzahlen
|
||||
werden aus der Issuing-Quelle ermittelt. Spaltenzuordnung, Datentypen,
|
||||
Fremdschlüssel, Leerheit, vollständige Werte und Rowcounts werden geprüft.
|
||||
Inserts erfolgen in einer Transaktion. Der Helper kennt ausschließlich
|
||||
`ejbca_issuing_migration_test_db`.
|
||||
6. Alle 44 PostgreSQL-Indizes vor dem ersten EJBCA-Teststart anlegen. Die vier
|
||||
DELETE-Befehle im Originalskript werden durch eine Abbruchprüfung ersetzt.
|
||||
7. Testanwendung mit kopiertem Volume, erhaltenen Verschlüsselungs-/CLI-Einstellungen,
|
||||
ohne veröffentlichte Ports und in einem internen Netzwerk starten.
|
||||
Bereitschaft, Fehlerlogs, CA-Liste, Tokenstatus und alle erkannten
|
||||
Software-Schlüsselpaare prüfen. Danach Testanwendung stoppen.
|
||||
8. Ausschließlich das vom Skript neu angelegte Testschema erneut aufbauen und
|
||||
die ursprünglichen Issuing-Daten plus Indizes importieren. Somit werden keine
|
||||
beim Teststart erzeugten Zertifikate oder anderen Änderungen übernommen.
|
||||
9. Sauberen Dump erstellen. Neue endgültige Datenbank `ejbca_issuing_db` in
|
||||
`ejbca-issuing-db-net` erstellen, Dump transaktional wiederherstellen und
|
||||
Tabellenzahlen, vollständige Zeilen-Digests sowie Indizes vergleichen.
|
||||
10. Eigenes dauerhaftes App-Volume aus dem gestoppten Original kopieren und die
|
||||
fertige Compose-Datei für den bestehenden Portainer-Stack erzeugen.
|
||||
|
||||
Das Skript exportiert keine privaten Schlüssel als separate Dateien und stellt
|
||||
keine Zertifikate per CLI aus. Der EJBCA-Teststart selbst kann ein Serverzertifikat
|
||||
in seiner isolierten Testdatenbank anlegen. Sicherungen und Datenbank-Dumps
|
||||
enthalten selbstverständlich vertrauliche CA-Daten.
|
||||
|
||||
## Ergebnis
|
||||
|
||||
Am Ende zeigt das Skript das neu generierte Passwort für **Issuing-PostgreSQL**
|
||||
und die vollständige Compose-Konfiguration direkt im lokalen Terminal an.
|
||||
Dieses Passwort ist nicht das alte H2-Passwort, kein Root-CA-Passwort und kein
|
||||
CryptoToken-PIN. Vorhandene Schlüssel-/Verschlüsselungspasswörter werden nicht
|
||||
geändert. Die Compose-Datei enthält das neue DB-Passwort bereits; keine zusätzliche
|
||||
Portainer-Variable ist erforderlich.
|
||||
|
||||
Alle Dateien liegen in einem neuen, nur für root zugänglichen Verzeichnis:
|
||||
|
||||
```text
|
||||
/root/ejbca-issuing-migration/run-DATUM-UHRZEIT-ZUFALL/
|
||||
```
|
||||
|
||||
Wichtige Dateien:
|
||||
|
||||
- `docker-compose.issuing.yml`: fertige Konfiguration für den vorhandenen
|
||||
Portainer-Stack `ejbca-issuing`.
|
||||
- `credentials.private.json`: erzeugte H2-, Test- und endgültige DB-Zugangsdaten.
|
||||
- `original.inspect.json`, `original-volume.tar`, `original.mv.db` und
|
||||
`original.sha256`: Originalkonfiguration und geprüfte Sicherungen.
|
||||
- `recover/ejbcadb.h2.sql`: ursprünglicher Recover-Dump.
|
||||
- `restored/`: binärsicher rekonstruierte H2-Quelle; SQL enthält ein temporäres Passwort.
|
||||
- `source-inventory.tsv`, `migration.log`, `key-tests.log`, `report.json`:
|
||||
Prüfresultate ohne vollständige Nutzdaten.
|
||||
- `issuing-clean.dump` und `.sha256`: sauberer Export vor Anwendungsstart.
|
||||
- `verify-after-deploy.sh`: Bereitschafts- und Schlüsseltests nach dem Deployment.
|
||||
- `docker-compose.database-reference.yml`: Dokumentation des bereits vom Skript
|
||||
gestarteten DB-Containers. Nicht als zusätzlichen Stack deployen, solange dieser
|
||||
Container existiert.
|
||||
|
||||
Das Skript ersetzt/deployt den bestehenden Issuing-Container **nicht automatisch**.
|
||||
Die endgültige PostgreSQL-Datenbank läuft bereits mit einem benannten Volume und
|
||||
Restart-Policy `unless-stopped`. Die Testanwendung ist gestoppt.
|
||||
|
||||
## Portainer-Update und Abschluss
|
||||
|
||||
1. Nach erfolgreichem Skriptende in Portainer den bestehenden Stack
|
||||
`ejbca-issuing` öffnen.
|
||||
2. Den Editorinhalt durch `docker-compose.issuing.yml` ersetzen.
|
||||
3. Stack aktualisieren. Das festgelegte Image bleibt die getestete Version.
|
||||
4. Nach etwa 90 Sekunden den erzeugten Prüfblock ausführen:
|
||||
|
||||
```bash
|
||||
sh /root/ejbca-issuing-migration/run-DATUM-UHRZEIT-ZUFALL/verify-after-deploy.sh
|
||||
```
|
||||
|
||||
5. In der gewohnten Adminoberfläche Issuing-CA und Profile kontrollieren.
|
||||
6. Nach erfolgreichem Abschluss einen aktuellen PostgreSQL-Dump sichern und
|
||||
regelmäßige Datenbankbackups vorsehen. Alte H2-Sicherungen vorerst behalten.
|
||||
|
||||
Bestehende TLS-/Adminzugangseinstellungen werden übernommen. Insbesondere wird
|
||||
`TLS_SETUP_ENABLED=simple`, falls vorhanden, durch dieses Migrationsskript nicht
|
||||
auf Clientzertifikatsanmeldung umgestellt.
|
||||
|
||||
## Bei einem Fehler
|
||||
|
||||
Das Skript bricht ab und stoppt seine eigene Testanwendung, soweit sie bereits
|
||||
angelegt wurde. Es löscht keine vorhandenen Container/Volumes automatisch.
|
||||
Nach begonnenen Arbeiten nicht blind erneut ausführen: vorhandene Zielnamen
|
||||
führen absichtlich zum Abbruch.
|
||||
|
||||
Die ursprüngliche Issuing-Compose-Konfiguration und das ursprüngliche H2-Volume
|
||||
bleiben unverändert. Die ursprüngliche Anwendung kann bereits gestoppt sein.
|
||||
Solange noch kein Portainer-Update erfolgt ist und niemand die Originalkonfiguration
|
||||
geändert hat, kann sie bei Bedarf mit `docker start ejbca_issuing` wieder auf dem
|
||||
alten H2-Stand laufen. Danach ist eine frühere Migrationskopie möglicherweise
|
||||
veraltet und darf nicht ohne neuen Abgleich eingesetzt werden.
|
||||
|
||||
Zur Diagnose zunächst nur die Abbruchmeldung und `progress.log` weitergeben.
|
||||
`private-errors.log`, `test-start.private.log`, JSON-Konfigurationen, SQL-Dumps und
|
||||
Compose-Dateien können Geheimnisse enthalten; nicht ungeschwärzt posten.
|
||||
|
||||
## Prüfstatus dieses Lieferstands
|
||||
|
||||
Python-Syntax und lokale Tests für SQL-Lexer, Binärkorrektur, Abbruchfälle,
|
||||
Indexkonvertierung und Compose-Werte wurden geprüft. Der JDBC-Migrationscode
|
||||
ist aus dem auf deinem Host ausgeführten Root-Helper abgeleitet; das Original
|
||||
bleibt unverändert. Ein vollständiger Docker-/EJBCA-Durchlauf wurde in dieser
|
||||
Arbeitsumgebung nicht ausgeführt. Die Java-Helfer werden auf dem Docker-Host
|
||||
vor dem Stoppen der Issuing-Anwendung kompiliert.
|
||||
@@ -0,0 +1,97 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Finish only the verified Issuing migration run; never deploy the app."""
|
||||
import importlib.util
|
||||
import json
|
||||
import os
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import sys
|
||||
|
||||
RUN = Path('/root/ejbca-issuing-migration/run-20260924-163240-49d64d')
|
||||
DUMP_HASH = '23e989f0c39ee7abc1491833cb37b61827029091e8b5f8aaa8148251f74f83be'
|
||||
|
||||
|
||||
def main():
|
||||
if os.geteuid() != 0:
|
||||
raise RuntimeError('Als root auf dem Docker-Host ausfuehren.')
|
||||
os.umask(0o077)
|
||||
spec = importlib.util.spec_from_file_location('migration', '/root/migrate_ejbca_issuing.py')
|
||||
m = importlib.util.module_from_spec(spec)
|
||||
spec.loader.exec_module(m)
|
||||
m.WORK = RUN
|
||||
m.check(m.APP == 'ejbca_issuing' and m.FINAL_DB == 'ejbca_issuing_db', 'Unerwartete Zielnamen.')
|
||||
for app in (m.APP, m.TEST_APP):
|
||||
m.check(m.inspect(app)['State']['Status'] == 'exited', app + ' muss gestoppt sein.')
|
||||
original = json.loads((RUN / 'original.inspect.json').read_text())
|
||||
current = m.inspect(m.APP)
|
||||
for key in ('Id', 'Image', 'Config', 'Mounts', 'HostConfig'):
|
||||
m.check(current[key] == original[key], 'Originalkonfiguration hat sich geaendert: ' + key)
|
||||
m.check(current['Image'] == m.EXPECTED_IMAGE, 'Unerwartetes EJBCA-Image.')
|
||||
image = json.loads(m.docker('image', 'inspect', m.EXPECTED_IMAGE))[0]
|
||||
m.check(m.EJBCA_IMAGE in image.get('RepoDigests', []), 'EJBCA-Digest fehlt.')
|
||||
dump = RUN / 'issuing-clean.dump'
|
||||
m.check(m.digest(dump) == DUMP_HASH, 'Pruefsumme des sauberen Exports stimmt nicht.')
|
||||
expected = {t: tuple(v) for t, v in json.loads((RUN / 'clean-counts-and-digests.json').read_text()).items()}
|
||||
m.check(len(expected) == 37 and sum(v[0] for v in expected.values()) == 129,
|
||||
'Erwartetes Inventar stimmt nicht.')
|
||||
m.check(expected['userdatasourcedata'][0] == 0, 'userdatasourcedata muss leer sein.')
|
||||
m.check(m.snapshot(m.TEST_DB) == expected, 'Saubere Testdatenbank wurde zwischenzeitlich veraendert.')
|
||||
for line in (RUN / 'original.sha256').read_text().splitlines():
|
||||
checksum, name = line.split()
|
||||
m.check(name in ('original.mv.db', 'original-volume.tar'), 'Unerwarteter Sicherungspfad.')
|
||||
m.check(m.digest(RUN / name) == checksum, 'Originalsicherung stimmt nicht: ' + name)
|
||||
url = m.envmap(current['Config'])['DATABASE_JDBC_URL']
|
||||
m.check(url.startswith('jdbc:h2:/mnt/persistent/'), 'Quelle ist nicht mehr H2.')
|
||||
dbfile = url.split(';')[0].removeprefix('jdbc:h2:') + '.mv.db'
|
||||
checkfile = RUN / 'original-current-check.mv.db'
|
||||
m.docker('cp', m.APP + ':' + dbfile, str(checkfile))
|
||||
checkfile.chmod(0o600)
|
||||
m.check(m.digest(checkfile) == m.digest(RUN / 'original.mv.db'), 'Original-H2 wurde seit der Sicherung veraendert.')
|
||||
credentials = json.loads((RUN / 'credentials.private.json').read_text())
|
||||
m.FINAL_PASSWORD = credentials['issuing_pg']
|
||||
m.check(bool(m.FINAL_PASSWORD), 'Zielpasswort fehlt.')
|
||||
# Reuse exactly the PostgreSQL image used by the verified test database.
|
||||
pgimage = json.loads(m.docker('image', 'inspect', m.inspect(m.TEST_DB)['Image']))[0]
|
||||
m.PG_PIN = next((d for d in pgimage.get('RepoDigests', []) if d.startswith('postgres@')), None)
|
||||
m.check(m.PG_PIN, 'PostgreSQL-Image-Digest fehlt.')
|
||||
m.absent('container', [m.FINAL_DB])
|
||||
m.absent('network', [m.FINAL_NETWORK])
|
||||
m.absent('volume', [m.FINAL_DB_VOLUME, m.FINAL_APP_VOLUME])
|
||||
for name in ('docker-compose.issuing.yml', 'docker-compose.database-reference.yml'):
|
||||
m.check(not (RUN / name).exists(), 'Compose-Datei existiert bereits: ' + name)
|
||||
print('Vorpruefungen erfolgreich. Neues Issuing-PostgreSQL-Ziel wird erstellt.', flush=True)
|
||||
m.docker('network', 'create', '--internal', m.FINAL_NETWORK)
|
||||
m.create_pg(m.FINAL_DB, m.FINAL_DB_VOLUME, m.FINAL_NETWORK, m.FINAL_PASSWORD)
|
||||
m.docker('exec', '-i', m.FINAL_DB, 'pg_restore', '-U', 'ejbca', '-d', 'ejbcadb',
|
||||
'--exit-on-error', '--single-transaction', data=dump.read_bytes(), timeout=3600)
|
||||
m.check(m.snapshot(m.FINAL_DB) == expected, 'Endgueltiges Ziel weicht vom sauberen Stand ab.')
|
||||
m.check(m.inspect(m.APP)['State']['Status'] == 'exited', 'Original-App wurde gestartet.')
|
||||
m.copy_volume(m.FINAL_APP_VOLUME)
|
||||
m.write_compose(original, m.envmap(image['Config']))
|
||||
if subprocess.run(['docker', 'compose', 'version'], stdout=subprocess.DEVNULL,
|
||||
stderr=subprocess.DEVNULL).returncode == 0:
|
||||
m.docker('compose', '-f', str(RUN / 'docker-compose.issuing.yml'), 'config', '--quiet')
|
||||
(RUN / 'finish-report.json').write_text(json.dumps({
|
||||
'dump_sha256': DUMP_HASH, 'rows': 129, 'tables': 37, 'valid_additional_indexes': 44,
|
||||
'app_deployed': False, 'offline_token': 'ImportedCryptoToken264870329',
|
||||
'offline_token_key_tested': False,
|
||||
'active_token_key_tests': '5 successful tests reported by operator in chat'
|
||||
}, indent=2))
|
||||
print('OK: Ziel wiederhergestellt und vollstaendig mit dem sauberen Stand verglichen.')
|
||||
print('Die Issuing-App bleibt gestoppt. Deployment erfolgt anschliessend in Portainer.')
|
||||
print('\nISSUING-POSTGRESQL-PASSWORT (vertraulich):\n' + m.FINAL_PASSWORD)
|
||||
print('\nCOMPOSE FUER DEN BESTEHENDEN STACK ejbca-issuing:\n')
|
||||
print((RUN / 'docker-compose.issuing.yml').read_text())
|
||||
print('Die database-reference-Datei NICHT als weiteren Stack deployen.')
|
||||
print('Passwort und Compose nicht in den Chat posten. Ergebnisverzeichnis: ' + str(RUN))
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
try:
|
||||
main()
|
||||
except (Exception, KeyboardInterrupt) as exc:
|
||||
# Avoid displaying command outputs or configuration containing secrets.
|
||||
print('ABBRUCH: ' + (str(exc) if type(exc).__name__ in ('MigrationError', 'RuntimeError')
|
||||
else type(exc).__name__), file=sys.stderr)
|
||||
print('Vorhandene Ressourcen bleiben erhalten. Nicht blind erneut starten.', file=sys.stderr)
|
||||
sys.exit(1)
|
||||
File diff suppressed because one or more lines are too long
@@ -0,0 +1 @@
|
||||
2c69fc5001d7fe09e8251bf379cb4121594387c6617ec011c97345a8f8af7443 migrate_ejbca_issuing.py
|
||||
Binary file not shown.
Reference in New Issue
Block a user