출처1 : aws-eks-web-application.workshop.aws

catalog.us-east-1.prod.workshops.aws

출처2 : https://eksctl.io/usage/vpc-configuration/

출처3 : https://docs.aws.amazon.com/ko_kr/eks/latest/userguide/add-user-role.html

출처4 : https://www.eksworkshop.com/beginner/090_rbac/intro/

출처5 : https://aws.amazon.com/ko/premiumsupport/knowledge-center/eks-iam-permissions-namespaces/

출처6 : https://aws.amazon.com/ko/premiumsupport/knowledge-center/eks-kubernetes-object-access-error/

EKS Cluster 생성

아래 명령으로 manifest.yaml 파일 생성 후

cat << EOF > eks-motolies-cluster.yaml
---
apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig
metadata:
  name: eks-motolies # 생성할 EKS 클러스터명
  region: ${AWS_REGION} # 클러스터를 생성할 리젼
  version: "1.21"
vpc:
  cidr: "192.168.0.0/16" # 클러스터에서 사용할 VPC의 CIDR
managedNodeGroups:
  - name: managed-node-group-1 # 클러스터의 노드 그룹명
    instanceType: t3.medium # 클러스터 워커 노드의 인스턴스 타입
    minSize: 1
    maxSize: 4
    maxPodsPerNode: 150
    desiredCapacity: 1 # 클러스터 워커 노드의 갯수
    volumeSize: 100  # 클러스터 워커 노드의 EBS 용량 (단위: GiB)
    volumeName: /dev/xvda
    ssh:
      enableSsm: true
    iam:
      withAddonPolicies:
        imageBuilder: true # AWS ECR에 대한 권한 추가
        # albIngress: true  # albIngress에 대한 권한 추가
        cloudWatch: true # cloudWatch에 대한 권한 추가
        autoScaler: true # auto scaling에 대한 권한 추가
cloudWatch:
  clusterLogging:
    enableTypes: ["*"]
EOF

또는 기존 vpc에 설치하려면

cat << EOF > eks-motolies-cluster.yaml
---
apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig
metadata:
  name: eks-motolies # 생성할 EKS 클러스터명
  region: ${AWS_REGION} # 클러스터를 생성할 리젼
  version: "1.21"
vpc:
  id: "vpc-11111"
  subnets:
    private:
      us-west-2a:
          id: "subnet-0ff156e0c4a6d300c"
      us-west-2c:
          id: "subnet-0426fb4a607393184"
    public:
      us-west-2a:
          id: "subnet-0153e560b3129a696"
      us-west-2c:
          id: "subnet-009fa0199ec203c37"
managedNodeGroups:
  - name: managed-node-group-1 # 클러스터의 노드 그룹명
    instanceType: t3.medium # 클러스터 워커 노드의 인스턴스 타입
    minSize: 1
    maxSize: 4
    maxPodsPerNode: 150
    desiredCapacity: 1 # 클러스터 워커 노드의 갯수
    volumeSize: 20  # 클러스터 워커 노드의 EBS 용량 (단위: GiB)
    volumeName: /dev/xvda
    ssh:
      enableSsm: true
    iam:
      withAddonPolicies:
        imageBuilder: true # AWS ECR에 대한 권한 추가
        # albIngress: true  # albIngress에 대한 권한 추가
        cloudWatch: true # cloudWatch에 대한 권한 추가
        autoScaler: true # auto scaling에 대한 권한 추가
cloudWatch:
  clusterLogging:
    enableTypes: ["*"]
EOF

기존 서브넷에 eks cluster를 올리려면 서브넷 태그에 다음과 같이 두 개의 태그를 추가해주어야 한다.

# key = value

 
# public subnet
kubernetes.io/cluster/{cluster-name} = shared
kubernetes.io/role/elb = 1

 
# private subnet
kubernetes.io/cluster/{cluster-name} = shared
kubernetes.io/role/internal-elb = 1

아래 명령으로 클러스터 생성

eksctl create cluster -f eks-motolies-cluster.yaml

생성전에 기본 설정은 해주어야 한다.

RBAC

사용자 할당

# RBAC(role based access control) 설정

 
# aws-auth 확인
kubectl describe configmap -n kube-system aws-auth
# aws-auth 수정
# (최종 목표는 확인 명령 실행시에 mapRoles 또는 mapUsers에 추가하는 것이며, 이를 통해서 aws console로 데이터를 확인할 수 있음)
kubectl edit -n kube-system configmap/aws-auth


 
# aws-auth를 파일로 백업 받은 후 수정하고 적용할 수도 있음
# 적용은 kubectl apply -f aws-auth.yaml
kubectl get configmap -n kube-system aws-auth -o yaml | grep -v "creationTimestamp\|resourceVersion\|selfLink\|uid" | sed '/^  annotations:/,+2 d' > aws-auth.yaml


 
# 사용자 같은 경우는 아래와 같이 추가해 줄 수 있음(mapUsers 이하 부분 참고)
apiVersion: v1
kind: ConfigMap
metadata:
  name: aws-auth
  namespace: kube-system
data:
  mapUsers: |
    - userarn: arn:aws:iam::123456789:user/rbac-user
      username: rbac-user
      groups:
        - system:masters


 
------------------------------------------------------------------------------------------------------------------------------

 
## 이게 가장 심플한 방법인 것 같다.
eksctl create iamidentitymapping --cluster ${cluster_name} --arn ${user_arn} --group system:masters --username admin

그룹-롤 할당 (k8sadmin 이란건 나중에 buildspec.yml에서 배포시에 사용한다)

# 그룹에 롤 할당

 
# 롤(role) 생성
POLICY=$(echo -n '{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Principal":{"AWS":"arn:aws:iam::'; echo -n "$ACCOUNT_ID"; echo -n ':root"},"Action":"sts:AssumeRole","Condition":{}}]}')
echo ACCOUNT_ID=$ACCOUNT_ID
echo POLICY=$POLICY

 
aws iam create-role \
  --role-name k8sAdmin \
  --description "Kubernetes administrator role (for AWS IAM Authenticator for Kubernetes)." \
  --assume-role-policy-document "$POLICY" \
  --output text \
  --query 'Role.Arn'

 
ADMIN_GROUP_POLICY=$(echo -n '{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowAssumeOrganizationAccountRole",
      "Effect": "Allow",
      "Action": "sts:AssumeRole",
      "Resource": "arn:aws:iam::'; echo -n "$ACCOUNT_ID"; echo -n ':role/k8sAdmin"
    }
  ]
}')
echo ADMIN_GROUP_POLICY=$ADMIN_GROUP_POLICY


 
# 그룹 생성 or 기존 그룹에 추가  
aws iam create-group --group-name eks-admin-group


 
# 그룹에 역할 할당
aws iam put-group-policy \
--group-name eks-admin-group \
--policy-name eks-admin-group-Policy \
--policy-document "$ADMIN_GROUP_POLICY"


 
# system:master와 바인딩
eksctl create iamidentitymapping \
  --cluster eks-platform \
  --arn arn:aws:iam::${ACCOUNT_ID}:role/k8sAdmin \
  --username admin \
  --group system:masters

다른 할당방법

# 전체 네임스페이스에서 사용하능한 롤과, 롤을 사용할 유저를 바인딩 해주는 파일
# 전체인줄 알았는데 전체가 아닌 것 같다.
cat << EoF > eks-connector-console-dashboard-full-access-group.yaml
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: eks-connector-console-dashboard-full-access-clusterrole
rules:
- apiGroups:
  - ""
  resources:
  - nodes
  - namespaces
  - pods
  - events
  verbs:
  - get
  - list
- apiGroups:
  - apps
  resources:
  - deployments
  - daemonsets
  - statefulsets
  - replicasets
  verbs:
  - get
  - list
- apiGroups:
  - batch
  resources:
  - jobs
  verbs:
  - get
  - list
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: eks-connector-console-dashboard-full-access-clusterrole-binding
subjects:
- kind: User
  name: eks-console-dashboard-full-access-group
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: ClusterRole
  name: eks-connector-console-dashboard-full-access-clusterrole
  apiGroup: rbac.authorization.k8s.io
---
EoF





 
# aws-auth ConfigMAP을 사용하여 IAM 역할을 RBAC 역할 및 그룹에 매핑
eksctl create iamidentitymapping --cluster yourClusterName --arn arn:aws:iam::yourAccountID:role/yourIAMRoleName --group system:masters --username eks-admin-user
eksctl create iamidentitymapping --cluster eks-platform --arn arn:aws:iam::${ACCOUNT_ID}:role/k8sAdmin --group system:masters --username eks-admin-user

 
# 혹시나 위의 맵핑을 진행하다가 aws-auth의 권한이 없어서 설정이 안되는 상황에 직면하면
# eks 생성한 계정으로 아래 명령을 치면 되는 것 같다(?)
aws configure
aws sts get-caller-identity
eksctl create iamidentitymapping --cluster eks-platform --arn arn:aws:iam::${ACCOUNT_ID}:role/k8sAdmin --group system:masters --username admin


 
# 위 내용을 진행하고 최종 목표
apiVersion: v1
data:
  mapRoles: |
    - groups:
      - system:bootstrappers
      - system:nodes
      rolearn: arn:aws:iam::170023315897:role/eksctl-eks-platform-nodegroup-man-NodeInstanceRole-1CGJGCTHZZJUR
      username: system:node:{{EC2PrivateDNSName}}
    - groups:
      - system:masters
      - eks-console-dashboard-full-access-group
      rolearn: arn:aws:iam::170023315897:role/k8sAdmin
      username: admin

 

[AWS] eksctl 로 관리형 노드그룹 생성하기 및 RBAC 설정 create managed nodegroup