Upozornění: Text přílohy byl získán strojově a nemusí přesně odpovídat originálu. Zejména u strojově nečitelných smluv, kde jsme použili OCR. originál smlouvy stáhnete odsud
Projekt „Digitální technická mapa Jihočeského kraje“, reg. č. CZ.01.4.03/0.0/0.0/19_259/0024756
DOKUMENTACE – 03 – instalační
„Informační systém Digitální technické mapy Prahy a Středočeského kraje (IS DTM PSK)“
Zadavatel: Institut plánování a rozvoje hlavního města Prahy, příspěvková organizace
Vyšehradská 57
128 00 Praha 2
IČO: 70883858
a
Středočeský kraj
Zborovská 81/11
150 21 Praha 5
IČO: 70891095
Zhotovitel: TKP geo s.r.o.
Plánská 1854/6
370 07 České Budějovice
IČO: 24134295
Smlouva: Smlouva o dodávce a implementaci nadstavby informačního systému digitální technické mapy hlavního města Prahy a Středočeského kraje a zajištění následného rozvoje, údržby a podpory, dále jen Smlouva
Historie dokumentu
Verze
Datum
Autor
Popis verze
Validován
01
15.2.2024
TKP geo, NESS, HxGN
Úvodní verze
----
Seznam zkratek:
V seznamu nejsou uváděny zkratky, které jsou všeobecně známé a používané.
DTM
Digitální technická mapa
IA
Interface agreement
IS
Informační systém
IS DMVS
Informační systém Digitálních map veřejné správy
IS DTM PSK
Informační systém digitální technické mapy Prahy a Středočeského kraje
IS DTM
Informační systém digitální technické mapy
ŘD
Řídící dokument implementace ISDTM
Seznam souvisejících dokumentů:
ID
Název
[1]
IS_DTM_PSK_dokumentace_03_instalacni_v03.docx
1. OBSAH
1 OBSAH 4
2 ÚVOD 5
3 IDENTIFIKACE ZHOTOVITELE 5
4 OBSAH DOKUMENTU 5
5 KONCEPCE AUTOMATIZACE DEPLOYMENTU 5
6 INSTALACE NÁSTROJŮ 6
6.1 Předpoklady 6
6.2 Instalace ArgoCD 7
6.2.1 Nastavení konfiguračních proměnných 7
6.2.2 Postup instalace 7
6.3 Nastavení ISTEM reverzní proxy 8
6.4 Administrační konzole ArgoCD 9
7 INSTALACE APLIKACÍ POMOCÍ AGROCD 9
7.1 Vytvoření aplikací 9
7.2 Synchronizace aplikací 10
1. ÚVOD
Dokumentace k projektu IS DTM PSK je zpracovávána v rámci etapy č. 2 v rozsahu definovaném ZD a jejími přílohami, konkrétně přílohou „Řídící dokument implementace ISDTM“.
IDENTIFIKACE ZHOTOVITELE
· TKP geo s.r.o.
Plánská 1854/6, 370 07 České Budějovice
IČO: 24134295, zastoupena xxx
společnost je zapsaná v Obchodním rejstříku u Krajského soudu v Českých Budějovicích, oddíl C, vložka 25734
Vybrané části Díla budou prováděny prostřednictvím poddodavatelů:
· NESS Czech s.r.o.
V Parku 2335/20, 148 00 Praha 4
IČO: 45786259
· Intergraph CS s.r.o.
Prosecká 851/64, 190 00 Praha 9 - Prosek
IČO: 44796650
OBSAH DOKUMENTU
Dokument obsahuje popis instalace a administrace automatizovaného nasazení (CD - Continuous Delivery) nových verzí komponenty ISTEM systému IS DTM PSK.
KONCEPCE AUTOMATIZACE DEPLOYMENTU
Pro automatizaci instalaci aplikace ISTEM byl zvolen nástroj ArgoCD (https://argoproj.github.io/cd/). ArgoCD je deklarativní CD (Continuous Delivery) nástroj, který je založen na moderních GitOPS principech. Hlavní výhodou je, že umožňuje efektivně aplikovat změny konfigurací a kubernetes manifestů uložených v GIT repository do kubernetes clusteru.
ArgoCD poskytuje:
· manuální nebo automatické nasazení (deployment) aplikací v kubernetes clusteru
· automatickou synchronizaci stavu aplikací podle aktuální verze deklarativní konfigurace (v GIT)
· administrační webovou konzoli
· možnost vizualizovat případné chyby při deploymentu
· detekovat a napravit odchylky mezi aplikovanou a deklarovanou konfigurací
· umožňuje administrovat více clusterů
· umožňuje SSO se standardními providery jako např Microsoft AD
· umožňuje spouštět akce v GitLAB
Z výše uvedených důvodů jsme se rozhodli změnit implementaci deployment pipeline v původně plánovaném GitLABu a nahradit ho právě nástrojem ArgoCD. Tím dosáhneme mnohem efektivnější správy aplikací v kubernetes prostředí, detailní přehled nad aktuálním stavem a nad aplikovanými změnami nasazených aplikací. Tyto možnosti implementace deployment pipeline v GitLAB neumožňuje.
INSTALACE NÁSTROJŮ
Nástroje pro nasazování ISTEM komponent jsou instalovány a nakonfigurovány v následujících prostředích IPR/SČK:
· TEST1 – v konfiguracích je toto prostředí uváděno pod názvem/zkratkou test
· TEST2 – v konfiguracích je toto prostředí uváděno pod názvem/zkratkou test2
· PROD – v konfiguracích je toto prostředí uváděno pod názvem/zkratkou prod
Předpoklady
Na jednotlivá prostředí je instalována nejaktuálnější verze ArgoCD v2.10.0 .
Instalace ArgoCD do kubernetes clusteru vyžaduje splnění následujících předpokladů:
· Kubernetes cluster má přístupné kontejnerové registry (Harbor, Gitlab)
· Kontejnerové registry obsahují následující image
· /argoproj/argocd:v2.10.0
· /argoproj/dex:v2.38.0
· /argoproj/redis:7.0.15-alpine
· Z kubernetes clusteru je dostupná GIT repository s artefakty deployovaných aplikací
Pro instalaci ArgoCD se využívají CLI nástroje:
· Helm (https://helm.sh)
· Kubectl (https://kubernetes.io/docs/reference/kubectl)
Tyto nástroje musí mít nastaven kontext kubernetes clusteru příslušného prostředí.
Jednotlivá prostředí využívají následující kontejnerové registry:
Prostředí
Endpoint kontejnerových registrů
Registry
TEST1
10.54.131.20
Harbor
TEST2
gitlab.local.dtm-praha-sck.cz:5050/dtm/dtm-project
Gitlab
PROD
gitlab.local.dtm-praha-sck.cz:5050/dtm/dtm-project
Gitlab
Konfigurační soubory a potřebné helm charty jsou uloženy v GIT repository prostředí:
Prostředí
Git repository (GitLAB)
Konfigurační adresář
TEST1
http://10.54.136.31/devops/deploy-pipelines/istem-deploy-ipr.git
config
TEST2
https://gitlab.local.dtm-praha-sck.cz/dtm/dtm-project.git
config/test2
PROD
https://gitlab.local.dtm-praha-sck.cz/dtm/dtm-project.git
Config
TEST2 a PROD prostředí používají stejnou GIT repository. Konfigurační soubory pro TEST2 prostředí obsahují v názvu text -test2 a jsou umístěny v adresáři /config/test2, konfigurační soubory pro PROD prostředí obsahují v názvu text -prod a jsou umístěny v adresáři /config .
Ostatní artefakty (helm charty, skripty, template) jsou společné pro TEST2 i PROD prostředí.
Struktura GIT repository je tato:
· config – obsahuje konfigurační soubory jednotlivých komponent ISTEM aplikace
· charts – obsahuje Helm charty s kubernetes manifesty jednotlivých komponent ISTEM aplikace
· scritpts – pomocné skripty
· src – template, např. pro instalaci Opensearch dashboardu
Instalace ArgoCD
Postup instalace ArgoCD je obdobný ve všech prostředích. Rozdíl je pouze v nastavených konfiguračních proměnných, které jsou na prostředí závislé.
Nastavení konfiguračních proměnných
Konfigurační proměnné jsou obsaženy v souboru argocd-values-[env].yaml, který se nachází v config adresáři GIT repository příslušného prostředí.
Konfigurační proměnné umožňují nastavit:
· cestu k ArgoCD image v kontejnerových registrech prostředí včetně oprávnění (secret),
· kontextovou cestu, na které bude publikována administrační konzole,
· heslo admin uživatele,
· certifikát GIT repository prostředí (pokud certifikát není podepsán veřejnou certifikační autoritou).
Postup instalace
Aplikace ArgoCD je do kubernetes clusteru instalována v následujících krocích:
· vytvoření namespace argocd
kubectl create namespace argocd
· vytvoření secret pro přístup do kontejnerových registrů
TEST1:
kubectl create secret docker-registry harbor-registry-secret \
--docker-server=10.54.131.20 \
--docker-username="**********" \
--docker-email="**********" \
--docker-password="**********" \
--insecure-skip-tls-verify=true \
--namespace=argocd
TEST2, PROD:
kubectl create secret docker-registry gitlab-registry-secret \
--docker-server=gitlab.local.dtm-praha-sck.cz:5050 \
--docker-username="**********" \
--docker-email="***********" \
--docker-password="********" \
--insecure-skip-tls-verify=true \
--namespace=argocd
Hodnoty ********** je potřeba nahradit hodnotami platného účtu kontejnerových registrů.
· vlastní instalace ArgoCD aplikace se provede příkazem:
TEST1:
helm upgrade --install --wait \
--timeout 20m0s \
--values "config/argocd-values-test.yaml" \
--namespace "argocd" \
"argo-cd" \
"charts/argo-cd" \
--debug
TEST2:
helm upgrade --install --wait \
--timeout 20m0s \
--values "config/test2/istem-traefik-values-test2.yaml" \
--namespace "istem-test2" \
--version "1.0.0.0" \
"istem-traefik" \
"charts/istem-traefik" \
--debug
PROD:
helm upgrade --install --wait \
--timeout 20m0s \
--values "config/argocd-values-prod.yaml" \
--namespace "argocd" \
"argo-cd" \
"charts/argo-cd" \
--debug
Nastavení ISTEM reverzní proxy
ISTEM reverzní proxy zajišťuje směrování HTTP requestů ze vstupního load balanceru kubernetes clusteru na jednotlivé komponenty aplikace. ISTEM reverzní proxy je nainstalována samostatným helm chartem istem-traefik. Do konfigurace musí být nakonfigurována kontextová cesta /argocd a tato musí být nasměrována na kubernetes ClusterIP službu argo-cd-argocd-server v namespace argocd.
Konfigurace níže je obsažena v istem-traefik-values-[env].yaml v konfiguračním adresáři prostředí v GIT repository.
routers:
…
istem-argocd:
rule: "PathPrefix(`/argocd`)"
service: istem-argocd-service
tls: {}
entryPoints:
- websecure
…
services:
…
istem-argocd-service:
loadBalancer:
servers:
- url: "http://argo-cd-argocd-server.argocd.svc.cluster.local:80"
…
Postup instalace istem-traefik je součástí instalační dokumentace [1].
Helm chart istem-traefik se instaluje Helm CLI nástrojem. Tento chart není zařazen do synchronizace ArgoCD.
Administrační konzole ArgoCD
Administrační konzole je dostupná na následujících endpointech:
Prostředí
Endpoint administrační konzole
Uživatel
TEST1
https://istemt.dtm-praha-sck.cz/argocd
admin
TEST2
https://istemt2.dtm-praha-sck.cz/argocd
admin
PROD
https://istem.dtm-praha-sck.cz/argocd
admin
INSTALACE APLIKACÍ POMOCÍ AGROCD
Jednotlivé komponenty ISTEM aplikace se instalují pomocí předpřipravených Helm chart – kubernetes manifestů. Pro každou komponentu je potřeba nejprve vytvořit v konzoli ArgoCD „aplikaci“ a následně spustit její synchronizaci.
Tímto postupem začne ArgoCD stav aplikace sledovat a v případě, že je nastavena automatická synchronizace, tak i sledovat změny konfiguračních parametrů a helm chartu aplikace a ty okamžitě aplikovat.
Vytvoření aplikací
Aplikace v ArgoCD je možné vytvořit
· manuálně v administrační konzoli,
· pomocí ArgoCD CLI nástroje,
· aplikováním Application manifestu aplikace.
Pro instalaci ISTEM komponent byla použita metoda aplikování Application manifestu. Pro každou komponentu je připraven v GIT repository v konfiguračním adresáři prostředí odpovídající argocd manifest:
· istem-infrastructure-argocd-[env].yaml – infrastruktura ISTEM aplikace
· istem-app-argocd-[env].yaml – vlastní ISTEM aplikace
· traefik-jwt-decode-argocd-[env].yaml – autentizační komponenta mapových služeb
· jasperreports-infrastructure-argocd-[env].yaml – infrastruktura JasperReports
· jasperreports-postgresql-argocd-[env].yaml – databáze JasperReports
· jasperreports-argocd-[env].yaml – vlastní JasperReports server
· opensearch-argocd-[env].yaml – OpenSearch server (log management)
· opensearch-dashboards-argocd-[env].yaml – management konzole Opensearch
· fluentbit-argocd-[env].yaml – agent pro sbírání logů v kubernetes clusteru
Hodnota [env] odpovídá názvu příslušného prostředí.
Jednotlivé manifesty jsou aplikovány následujícími příkazy (příklad pro TEST2 prostředí):
kubectl apply -f config/istem-infrastructure-argocd-test2.yaml
kubectl apply -f config/istem-app-argocd-test2.yaml
kubectl apply -f config/traefik-jwt-decode-argocd-test2.yaml
kubectl apply -f config/jasperreports-infrastructure-argocd-test2.yaml
kubectl apply -f config/jasperreports-postgresql-argocd-test2.yaml
kubectl apply -f config/jasperreports-argocd-test2.yaml
kubectl apply -f config/opensearch-argocd-test2.yaml
kubectl apply -f config/opensearch-dashboards-argocd-test2.yaml
kubectl apply -f config/fluentbit-argocd-test2.yaml
Aplikací manifestů vzniknou v ArgoCD jednotlivé aplikace. V tomto okamžiku aplikace ještě nejsou instalovány do kubernetes clusteru.
Synchronizace aplikací
Provedením synchronizace aplikací dojde k jejich instalaci a spuštění v kubernetes clusteru. Instalace do kubernetes clusteru proběhne v okamžiku, kdy se spustí manuální synchronizace nebo je nastavená automatická synchronizace s GIT repository.
Spuštění synchronizace je potřeba provést v následujícím pořadí:
· ISTEM aplikace
· istem-infrastructure-[env]
· istem-app-[env]
· traefik-jwt-decode
· JasperReports
· jasperreports-infrastructure
· jasperreports-postgresql
· jasperreports
· Log management (OpenSearch)
· opensearch
· opensearch-dashboards
· fluentbit
Doporučujeme synchronizaci provést/nastavit podle následujících pravidel:
· automatickou synchronizaci zapnout pouze v TEST1 a TEST2 prostředí a to pouze na istem-app-[env] aplikaci
· ostatní aplikace synchronizovat manuálně
· v produkčním prostředí používat pouze manuální synchronizaci
Spuštění synchronizace se provádí v administrační konzoli ArgoCD na jednotlivé aplikaci tímto postupem:
· kliknutím na kartu aplikace se zobrazí detail aplikace
· stisknutím tlačítka SYNC je zobrazen dialog pro spuštění manuální synchronizace
· stisknutím tlačítka SYNCHRONIZE dojde ke spuštění vlastní synchronizace. Doporučujeme použít defaultní nastavení dialogu.
Nastavení automatické synchronizace se provádí v administrační konzoli ArgoCD na jednotlivé aplikaci tímto postupem:
· kliknutím na kartu aplikace se zobrazí detail aplikace
· stiskem tlačítka DETAILS se zobrazí dialog s detaily aplikace
· automatická synchronizace s GIT repository se zapíná v bloku SYNC POLICY tlačítkem ENABLE AUTO-SYNC
Aktuální stav synchronizace je zobrazen na kartách jednotlivých aplikací na stránce přehledu aplikací:
V detailu aplikace je možné získat detailní informace o stavu aplikace a využít další možnosti, jako např.:
· zjistit z jakých komponent je daná aplikace tvořená (config map, service, deployment, pod, …),
· zjistit, na kterých nodech jsou jednotlivé komponenty aplikace spuštěny,
· zobrazit standardní výstup běžících podů,
· informace o nastavené síťové komunikaci mezi komponentami.
48
IS_DTM_PSK_dokumentace_03_deployment_v01.docx
strana 1 / 60
image1.png
image2.png
image3.png
image4.png
image5.png
image6.png
image7.png
image8.png
image9.jpeg
image10.png