Istio

# Istio 다운로드 버전을 명시하여 다운로드 curl -L https://istio.io/downloadIstio | ISTIO_VERSION=1.18.0 TARGET_ARCH=x86_64 sh - % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 102 100 102 0 0 347 0 --:--:-- --:--:-- --:--:-- 346 100 4856 100 4856 0 0 10609 0 --:--:-- --:--:-- --:--:-- 10609 Downloading istio-1.18.0 from https://github.com/istio/istio/releases/download/1.18.0/istio-1.18.0-linux-amd64.tar.gz ... Istio 1.18.0 Download Complete! Istio has been successfully downloaded into the istio-1.18.0 folder on your system. Next Steps: See https://istio.io/latest/docs/setup/install/ to add Istio to your Kubernetes cluster. To configure the istioctl client tool for your workstation, add the /root/istio-1.18.0/bin directory to your environment path variable with: export PATH="$PATH:/root/istio-1.18.0/bin" Begin the Istio pre-installation check by running: istioctl x precheck Need more information? Visit https://istio.io/latest/docs/setup/install/ # 환경변수에 Path 등록 또는 istioctl 파일을 복사한다. cp ~/istio-1.18.0/bin/istioctl /usr/local/bin/ # 선행 체크 실행 No issues 확인 istioctl x precheck ✔ No issues found when checking the cluster. Istio is safe to install or upgrade! To get started, check out https://istio.io/latest/docs/setup/getting-started/

# 노드 셀럭터로 특정 노드로 띄우고 Grafana 연결을 위해서 파일 수정을 해야한다. vi samples/addons/jaeger kiali prometheus grafana loki 의 yaml 파일을 모두 열어 모두 monitor 노드로 가도록 해주었다. sepc: containers: nodeSelector: #kubernetes.io/os: linux node-role.kubernetes.io/monitor: enable 저장 # Kiali 에서 AddOn 중에 Grafana 와 연결 하기 위해 kiali.yaml 파일은 추가로 넣어 주었다. # 외부 Grafana 대시보드 연결은 문서 참고 https://kiali.io/docs/configuration/p8s-jaeger-grafana/grafana/ vi samples/addons/kiali.yaml external_services: custom_dashboards: enabled: true istio: root_namespace: istio-system grafana: url: "http://grafana:3000" # 제공된 addons 폴더에 모든 yaml 파일을 설치한다. 위에 언급한 툴이 모두 설치 된다. istio-system에 사용 하려고 namespace 를 붙여서 설치 kubectl apply -f samples/addons -n istio-system serviceaccount/grafana created configmap/grafana created service/grafana created deployment.apps/grafana created configmap/istio-grafana-dashboards created configmap/istio-services-grafana-dashboards created deployment.apps/jaeger created service/tracing created service/zipkin created service/jaeger-collector created serviceaccount/kiali created configmap/kiali created clusterrole.rbac.authorization.k8s.io/kiali-viewer created clusterrole.rbac.authorization.k8s.io/kiali created clusterrolebinding.rbac.authorization.k8s.io/kiali created role.rbac.authorization.k8s.io/kiali-controlplane created rolebinding.rbac.authorization.k8s.io/kiali-controlplane created service/kiali created deployment.apps/kiali created serviceaccount/loki created configmap/loki created configmap/loki-runtime created service/loki-memberlist created service/loki-headless created service/loki created statefulset.apps/loki created serviceaccount/prometheus created configmap/prometheus created clusterrole.rbac.authorization.k8s.io/prometheus created clusterrolebinding.rbac.authorization.k8s.io/prometheus created service/prometheus created deployment.apps/prometheus created # kiali 설치가 되었는지 확인 해본다. 이런 식으로 다른 것도 확인 가능하다. kubectl rollout status deployment/kiali -n istio-system deployment "kiali" successfully rolled out # 확인 AddOn 들은 모두 Monitor Node 로 띄우도록 nodeSelector 설정을 해주었다. kubectl get pod -n istio-system -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES grafana-5f98b97b64-xwjkd 1/1 Running 0 67m 10.233.121.180 kubemonitor02 <none> <none> istio-egressgateway-5f7cfc6776-spcxc 1/1 Running 0 4m5s 10.233.125.197 kubeinfra03 <none> <none> istio-ingressgateway-8679bf9545-8x6lq 1/1 Running 0 4m5s 10.233.125.211 kubeinfra03 <none> <none> istiod-66ff7c9bfd-d6gpl 1/1 Running 0 4m9s 10.233.125.221 kubeinfra03 <none> <none> jaeger-76cd7c7566-xts78 1/1 Running 0 67m 10.233.121.179 kubemonitor02 <none> <none> kiali-7799445c94-6ms7t 1/1 Running 0 67m 10.233.86.133 kubemonitor03 <none> <none> loki-0 1/1 Running 0 67m 10.233.86.134 kubemonitor03 <none> <none> prometheus-67599c8d5c-cwp5r 2/2 Running 0 67m 10.233.121.61 kubemonitor01 <none> <none>

# Zipkin사용으로 Zipkin을 추가로 배포 해보려고 extra 디렉토리의 zipkin을 설치했다. cat samples/addons/extras/zipkin.yaml apiVersion: apps/v1 kind: Deployment metadata: name: zipkin namespace: istio-system labels: app: zipkin spec: selector: matchLabels: app: zipkin template: metadata: labels: app: zipkin sidecar.istio.io/inject: "false" spec: containers: - name: zipkin image: openzipkin/zipkin-slim:2.23.14 env: - name: STORAGE_METHOD value: "mem" readinessProbe: httpGet: path: /health port: 9411 initialDelaySeconds: 5 periodSeconds: 5 nodeSelector: #kubernetes.io/os: linux node-role.kubernetes.io/monitor: enable --- apiVersion: v1 kind: Service metadata: name: tracing namespace: istio-system labels: app: zipkin spec: type: ClusterIP ports: - name: http-query port: 80 protocol: TCP targetPort: 9411 selector: app: zipkin --- apiVersion: v1 kind: Service metadata: labels: name: zipkin name: zipkin namespace: istio-system spec: ports: - port: 9411 targetPort: 9411 name: http-query selector: app: zipkin 확인 kubectl apply -f samples/addons/extras/zipkin.yaml deployment.apps/zipkin created service/tracing configured service/zipkin configured kubectl get pod -n istio-system NAME READY STATUS RESTARTS AGE grafana-694697f484-zhlqd 1/1 Running 0 6d23h istio-egressgateway-5f7cfc6776-spcxc 1/1 Running 0 6d23h istio-ingressgateway-8679bf9545-8x6lq 1/1 Running 0 6d23h istiod-66ff7c9bfd-d6gpl 1/1 Running 0 6d23h jaeger-57cb5d5546-szbnn 1/1 Running 0 6d23h kiali-855db86b7d-wwh97 1/1 Running 0 6d22h loki-0 1/1 Running 0 7d prometheus-79f95f68fc-g6f22 2/2 Running 0 6d23h zipkin-977bc78bd-g26jh 1/1 Running 0 9s

apiVersion: networking.istio.io/v1alpha3 kind: Gateway metadata: name: nginx-test-blue-green-gateway spec: # The selector matches the ingress gateway pod labels. # If you installed Istio using Helm following the standard documentation, this would be "istio=ingress" selector: istio: ingressgateway # use istio default controller servers: - port: number: 80 name: http protocol: HTTP hosts: - "cloud-sre-istio-blue-green.icnp.******.co.kr"

apiVersion: networking.istio.io/v1alpha3 kind: VirtualService metadata: name: nginx-test-blue-green-virtualservice spec: hosts: # 적용할 도메인 주소 - "cloud-sre-istio-blue-green.icnp.******.co.kr" gateways: # 통신할 게이트 웨이 개체명 - cloud-sre-istio-nginx-test-blue-green-gateway-prd # 매치 조건 설정 http: - match: - uri: exact: /v1 rewrite: uri: / route: - destination: # 실제 연결되는 Kubernetes의 service 명을 적어야 한다. 여기서는 Argo Rollout 의 Blue-Green에 사용하는 active service를 v1 에 매칭 시켰다. host: cloud-sre-istio-nginx-test-blue-green-service-active-prd #subset: v1 port: number: 80 - match: - uri: exact: /v2 rewrite: uri: / route: - destination: # 실제 연결되는 Kubernetes의 service 명을 적어야 한다. 여기서는 Argo Rollout 의 Blue-Green에 사용하는 preview service를 v2 에 매칭 시켰다. host: cloud-sre-istio-nginx-test-blue-green-service-preview-prd port: number: 80

apiVersion: argoproj.io/v1alpha1 kind: Rollout metadata: name: nginx-test-istio-blue-green spec: replicas: 2 revisionHistoryLimit: 2 selector: matchLabels: app: cloud-sre-istio-nginx-test-blue-green-prd template: metadata: labels: app: cloud-sre-istio-nginx-test-blue-green-prd #version: v1 spec: containers: - name: nginx-test image: harbor.icnp.******.co.kr/cloud-sre/main/rollout-nginx-test-istio-blue-green imagePullPolicy: Always ports: - containerPort: 80 imagePullSecrets: - name: cloud-sre-istio-secret-harbor-nginx-test-prd strategy: blueGreen: activeService: cloud-sre-istio-nginx-test-blue-green-service-active-prd previewService: cloud-sre-istio-nginx-test-blue-green-service-preview-prd autoPromotionEnabled: false

apiVersion: kustomize.config.k8s.io/v1beta1 kind: Kustomization #- loadbalancer.yaml resources: - rollout.yaml - service-active.yaml - service-preview.yaml - secret.yaml # 추가 된 파일 - gateway.yaml - virtualservice.yaml namePrefix: cloud-sre-istio- nameSuffix: -prd # 배포될 객체의 네임스페이스스 namespace: cloud-sre-istio #patches: #- target: #kind: Rollout #name: cloud-sre-istio-nginx-test-rollout-prd #patch: |- #- op: replace #path: /spec/template/metadata/labels/version #value: v2 # patch하여 base와 결합될 yaml 파일 리스트트 #patchesStrategicMerge: #- deployment.yaml #- service.yaml #- rollout.yaml # 공통 적으로 들어가는 라벨로 모든 객체 service or deployment 위 metadata.labels에 들어간다. prefix나 suffix 안붙는다는것을 참고해라 Deployment 에서는 이 값이 그냥 박히기만 하지만 Rollout 에서는 반드시 매칭이 되어야 한다. commonLabels: app: cloud-sre-istio-nginx-test-blue-green-prd images: - name: harbor.icnp.******.co.kr/cloud-sre/main/rollout-nginx-test-istio-blue-green newTag: "3"

# 생성 kubectl create ns cloud-sre-istio namespace/cloud-sre-istio created # Istio 적용을 위해 Injention Enable kubectl label namespace cloud-sre-istio istio-injection=enabled namespace/cloud-sre-istio labeled # 확인 enabled kubectl get ns -L istio-injection cloud-sre-istio NAME STATUS AGE ISTIO-INJECTION cloud-sre-istio Active 53s enabled # Injection 설정 삭제 방법 kubectl label namespace cloud-sre-istio istio-injection-

apiVersion: networking.istio.io/v1alpha3 kind: Gateway metadata: name: nginx-test-canary-gateway spec: # The selector matches the ingress gateway pod labels. # If you installed Istio using Helm following the standard documentation, this would be "istio=ingress" selector: istio: ingressgateway # use istio default controller servers: - port: number: 80 name: http protocol: HTTP hosts: - "cloud-sre-istio-canary.icnp.******.co.kr"

apiVersion: networking.istio.io/v1alpha3 kind: VirtualService metadata: name: nginx-test-canary-virtualservice spec: hosts: - "cloud-sre-istio-canary.icnp.******.co.kr" gateways: - cloud-sre-istio-nginx-test-canary-gateway-prd http: - match: # match 조건 설정 - headers: # 헤더 값 설정 header: # 헤더 값이 header: canary 인 경우에 아래 destination 인 preview 서비스로 간다. 가중치도 100% exact: canary route: - destination: host: cloud-sre-istio-nginx-test-canary-service-preview-prd port: number: 80 #weight: 100 # destination이 한개인 route인 경우 weight 생략이 가능하다 한곳으로 전부 연결되기 때문 하지만 아래 처럼 2개 이상인 경우 반드시 설정해야됨 # match에 안 맞는 경우 Stable로 들어오게되고 이 이름이 Rollout.yaml 파일에 기입 된다. 반드시 rollout에 canary와 stable 연결을 위해 destination이 두개가 있어야 한다. - name: stable route: - destination: host: cloud-sre-istio-nginx-test-canary-service-preview-prd port: number: 80 weight: 0 # 0% 라고 적었으나 Rollout.yaml에 의해 이 값은 무시 되기도 한다 그래서 ArgoCD 에서 보면 OutofSync 라고 나오나 무시해도된다. - destination: host: cloud-sre-istio-nginx-test-canary-service-active-prd port: number: 80 weight: 100 # 100% 라고 적었으나 Rollout.yaml에 의해 이 값은 무시 되기도 한다 그래서 ArgoCD 에서 보면 OutofSync 라고 나오나 무시해도된다.

apiVersion: argoproj.io/v1alpha1 kind: Rollout metadata: name: nginx-test-istio-canary spec: replicas: 4 revisionHistoryLimit: 2 selector: matchLabels: app: cloud-sre-istio-nginx-test-canary-prd template: metadata: labels: app: cloud-sre-istio-nginx-test-canary-prd spec: containers: - name: nginx-test image: harbor.icnp.******.co.kr/cloud-sre/main/rollout-nginx-test-istio-canary imagePullPolicy: Always ports: - containerPort: 80 imagePullSecrets: - name: cloud-sre-istio-secret-harbor-nginx-test-prd strategy: canary: canaryService: cloud-sre-istio-nginx-test-canary-service-preview-prd stableService: cloud-sre-istio-nginx-test-canary-service-active-prd # 하단의 steps영역은 argo rollout의 관리 영역으로 여기서 셋팅한 weight 값이 하단 istio virtualservice 에 셋팅되어 넘어가서 변경이 된다. 그럼과 동시에 out of sync가 나오지만 무시해도 상관없다. steps: - setWeight: 25 - pause: {} #duration: 1m - setWeight: 50 - pause: duration: 3m - setWeight: 75 - pause: duration: 5m # istio canary 사용시 아래 부분이 반드시 설정되어야 한다. trafficRouting: istio: virtualService: name: cloud-sre-istio-nginx-test-canary-virtualservice-prd # 생성한 virtualservice 의 이름 routes: - stable # 앞서 virtualservice 에 생성한 route의 이름 여기에 목적지가 두개 셋팅 된 것을 넣어야 한다.

apiVersion: kustomize.config.k8s.io/v1beta1 kind: Kustomization resources: - rollout.yaml - service-active.yaml - service-preview.yaml - secret.yaml - gateway.yaml - virtualservice.yaml #- loadbalancer.yaml namePrefix: cloud-sre-istio- nameSuffix: -prd # 배포될 객체의 네임스페이스스 namespace: cloud-sre-istio #patches: #- target: #kind: Rollout #name: cloud-sre-istio-nginx-test-rollout-prd #patch: |- #- op: replace #path: /spec/template/metadata/labels/version #value: v2 # patch하여 base와 결합될 yaml 파일 리스트트 #patchesStrategicMerge: # 공통 적으로 들어가는 라벨로 모든 객체 service or deployment 위 metadata.labels에 들어간다. prefix나 suffix 안붙는다는것을 참고해라 commonLabels: app: cloud-sre-istio-nginx-test-canary-prd images: - name: harbor.icnp.******.co.kr/cloud-sre/main/rollout-nginx-test-istio-canary newTag: "8"