https://stackoverflow.com/questions/60412448/alb-ingress-redirect-traffic-from-http-to-https-not-working#answer-73037420

https://github.com/aws/eks-charts/tree/master/stable/aws-load-balancer-controller

얼마전까지 EKS 1.21 버전을 쓰다가 1.22 버전으로 올리게 되었다.

이것도 이야기가 많지만 ㅠㅠ

nodeGroup의 버전이 올라가지 않아서 새로운 nodeGroup을 더 큰 사이즈로 추가하고(node 별 maxPod이 있다는 것도 처음 보게되었다?)
기존 nodeGroup을 삭제하는 식으로 Pod을 옮길 수 있었다.

그런데 또 다른 문제는 aws load balance controller에서 발생했다.

기존까지는 다음과 같이 사용하고 있었다.

aws load balance controller 버전은 2.4.1 버전이다.

기존까지 사용하던 방법

---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress
  namespace: default
  annotations:
    kubernetes.io/ingress.class: alb
    alb.ingress.kubernetes.io/scheme: internet-facing
    alb.ingress.kubernetes.io/target-type: ip
    # ingress(n) : alb(1) 로 설정하기 위해서는 group.name을 설정해주면 설정을 최종 합쳐준다.
    alb.ingress.kubernetes.io/group.name: dev-ingress
    alb.ingress.kubernetes.io/group.order: "1"
    # 아래는 ssl 설정
    alb.ingress.kubernetes.io/listen-ports: '[{"HTTP": 80}, {"HTTPS": 443}]'
    alb.ingress.kubernetes.io/certificate-arn: arn:aws:acm:ap-northeast-2:123456789123:certificate/abcd1234-abcd-abcd-abcd-abcdefg12345
    alb.ingress.kubernetes.io/actions.ssl-redirect: |
      {
        "Type": "redirect",
        "RedirectConfig": {
          "Protocol": "HTTPS",
          "Port": "443",
          "StatusCode": "HTTP_301"
        }
      }
    alb.ingress.kubernetes.io/conditions.nexus: >
      [{"field":"source-ip","sourceIpConfig":{"values":["10.0.0.0/16", "10.20.0.0/16"]}}]
    alb.ingress.kubernetes.io/conditions.eureka: >
      [{"field":"source-ip","sourceIpConfig":{"values":["10.0.0.0/16", "10.20.0.0/16"]}}]

spec:
  rules:
    - http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: ssl-redirect
                port:
                  name: use-annotation

    - host: eureka.hvy.kr
      http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: eureka
                port:
                  number: 8761


---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  # 이름은 달라야 한다.
  name: ingress-monitoring
  # default가 아니니 별도 namespace를 설정해준다.
  namespace: monitoring
  annotations:
    kubernetes.io/ingress.class: alb
    alb.ingress.kubernetes.io/scheme: internet-facing
    alb.ingress.kubernetes.io/target-type: ip
    # ingress(n) : alb(1) 로 설정하기 위해서는 group.name을 설정해주면 설정을 최종 합쳐준다.
    alb.ingress.kubernetes.io/group.name: dev-ingress
    alb.ingress.kubernetes.io/group.order: "10"
    # 아래는 ssl 설정
    alb.ingress.kubernetes.io/listen-ports: '[{"HTTP": 80}, {"HTTPS": 443}]'
    alb.ingress.kubernetes.io/certificate-arn: arn:aws:acm:ap-northeast-2:123456789123:certificate/abcd1234-abcd-abcd-abcd-abcdefg12345
    alb.ingress.kubernetes.io/actions.ssl-redirect: |
      {
        "Type": "redirect",
        "RedirectConfig": {
          "Protocol": "HTTPS",
          "Port": "443",
          "StatusCode": "HTTP_301"
        }
      }

spec:
  rules:
    - http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: ssl-redirect
                port:
                  name: use-annotation

    - host: monitoring.hvy.kr
      http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: grafana
                port:
                  number: 80

    - host: prometheus.hvy.kr
      http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: prometheus-server
                port:
                  number: 80

근데 위 방식대로 하니까 이상하게 설정은 됐다고 나오는데 반영이 안되는 이슈가 있었다.

좀 더 찾다보니 아래와 같은 방법으로 ingress의 로그를 실시간으로 볼 수 있었고,

kubectl logs -f -n kube-system $(kubectl get po -n kube-system | egrep -o 'aws-load-balancer-controller[a-zA-Z0-9-]+')

이런식의 오류가 찍힌다는 걸 알 수 있었다.

{
  "level": "error",
  "ts": 1661994912.919777,
  "logger": "controller-runtime.manager.controller.ingress",
  "msg": "Reconciler error",
  "name": "dev-ingress",
  "namespace": "",
  "error": "failed to create listener rule: ValidationError: You cannot specify 'host' as an HTTP header name\n\tstatus code: 400, request id: f5fd2d2b-06c7-44b1-9ea3-96d161594e0d"
}

원래 되던거였는데 뭐가 바뀌었나 하나 씩 확인을 하기 위해서 주석처리 후 하나씩 해결하려 했더니 모든 도메인을 싹 지워도 반영이 되지 않았다.

?????????

뭔가 redirect 부분이 문제인거 같다는 촉(?)이 왔고,

좀 더 찾아보니 뭐가 변경되긴 한 것 같았다.

아래 명령어로 aws load balancer controller의 속성같은 걸 업데이트 할 수 있어보이던데, 나중에 좀 더 찾아봐야겠다.

kubectl apply -k "github.com/aws/eks-charts/stable/aws-load-balancer-controller//crds?ref=master"

하여튼, 여기까지의 과정을 진행하고 위의 ingress.yml 파일의 redirect 부분을 좀 수정하였다.

수정한 버전

---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress
  namespace: default
  annotations:
    kubernetes.io/ingress.class: alb
    alb.ingress.kubernetes.io/scheme: internet-facing
    alb.ingress.kubernetes.io/target-type: ip
    # ingress(n) : alb(1) 로 설정하기 위해서는 group.name을 설정해주면 설정을 최종 합쳐준다.
    alb.ingress.kubernetes.io/group.name: dev-ingress
    alb.ingress.kubernetes.io/group.order: "1"
    # 아래는 ssl 설정
    alb.ingress.kubernetes.io/listen-ports: '[{"HTTP": 80}, {"HTTPS": 443}]'
    alb.ingress.kubernetes.io/certificate-arn: arn:aws:acm:ap-northeast-2:123456789123:certificate/abcd1234-abcd-abcd-abcd-abcdefg12345
    alb.ingress.kubernetes.io/ssl-redirect: '443'
    alb.ingress.kubernetes.io/conditions.nexus: >
      [{"field":"source-ip","sourceIpConfig":{"values":["10.0.0.0/16", "10.20.0.0/16"]}}]
    alb.ingress.kubernetes.io/conditions.eureka: >
      [{"field":"source-ip","sourceIpConfig":{"values":["10.0.0.0/16", "10.20.0.0/16"]}}]

spec:
  rules:

    - host: eureka.hvy.kr
      http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: eureka
                port:
                  number: 8761


---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  # 이름은 달라야 한다.
  name: ingress-monitoring
  # default가 아니니 별도 namespace를 설정해준다.
  namespace: monitoring
  annotations:
    kubernetes.io/ingress.class: alb
    alb.ingress.kubernetes.io/scheme: internet-facing
    alb.ingress.kubernetes.io/target-type: ip
    # ingress(n) : alb(1) 로 설정하기 위해서는 group.name을 설정해주면 설정을 최종 합쳐준다.
    alb.ingress.kubernetes.io/group.name: dev-ingress
    alb.ingress.kubernetes.io/group.order: "10"
    # 아래는 ssl 설정
    alb.ingress.kubernetes.io/listen-ports: '[{"HTTP": 80}, {"HTTPS": 443}]'
    alb.ingress.kubernetes.io/certificate-arn: arn:aws:acm:ap-northeast-2:123456789123:certificate/abcd1234-abcd-abcd-abcd-abcdefg12345
    alb.ingress.kubernetes.io/ssl-redirect: '443'

spec:
  rules:
    - host: monitoring.hvy.kr
      http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: grafana
                port:
                  number: 80

    - host: prometheus.hvy.kr
      http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: prometheus-server
                port:
                  number: 80

우선 다음 부분이 변경되었다. '443' 포트명만 적어준다.

alb.ingress.kubernetes.io/actions.ssl-redirect: |
  {
    "Type": "redirect",
    "RedirectConfig": {
      "Protocol": "HTTPS",
      "Port": "443",
      "StatusCode": "HTTP_301"
    }
  }

그리고 spec.rules 바로 밑에있던 http를 제거했다.

spec.rules 밑에는 이제 host만 존재할 수 있다.

spec:
  rules:
    - http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: ssl-redirect
                port:
                  name: use-annotation

aws load balance controller(ingress) 버전 맞추기