[Accordion] 12-acc-global : cloud-apiserver pod wait_for

[bconfiden2]

설치 과정에서 계속 동일한 지점에서 에러가 발생합니다.

해당 태스크는 cloud-apiserver 팟을 대기하는 태스크로 보았지만, 계속하여 containerCreating 상태에 머물러있어서 30번의 시도를 전부 실패한 것으로 확인하였습니다.

이유를 확인하고자 해당 팟의 로그를 확인해보았는데, 아래처럼 NAS 를 마운트하는 과정에서 실패한 것으로 보입니다.

그러나 현재 나스 세팅에는 문제 없다고 생각하며, 실제로 직접 마운트를 시도하였을 때는 정상적으로 nfs 프로토콜로 마운트가 수행 되었습니다.

지난주 목요일 당일날 실습에서도 계속 같은 부분에서 에러가 났었고, 미리 나스를 마운트해놨어서 그런것인가 하여 나스를 초기화하고 새롭게 시도해보기도 하였고, ssh 포트변경이 문제인가 싶어서 또다시 초기화하여 기본세팅값으로 시도해보기도 했지만, 모두 이 지점에서 마운트가 되지 않고 실패하였습니다.

실습 이후에 따로 세팅을 진행했기 때문에, 빼먹었거나 잘못 설정한 값이 있는 것인지도 확신하지 못하겠습니다.

마스터노드 퍼블릭주소는 [ 175.45.195.59 ] 이며, 포트번호는 교내 방화벽 규칙 때문에 2222 를 사용 중에 있습니다.

비밀번호는 [ 2022oidc! ] 이며, 워커노드들의 비밀번호는 다르지만 모두 2222 포트로 ssh key 사용하여 접근 가능합니다.

확인해주시면 감사하겠습니다!

[mantech-accordion]

네 확인하고 알려드리겠습니다.

[anfrhrl5555]

안녕하세요 맨텍 김인수입니다.

NCP에서 NAS서버를 재생성 부탁드립니다. nfs version 이슈가 있는걸로 보입니다.

[root@oidc001 accordion-installer]# kubectl get pods -A -o wide | grep -iv running
NAMESPACE     NAME                                          READY   STATUS                  RESTARTS       AGE     IP               NODE      NOMINATED NODE   READINESS GATES
acc-global    gateway-7d5b5f957c-ch5t5                      0/1     CrashLoopBackOff        12 (88s ago)   16m     172.32.94.20     oidc002   <none>           <none>
acc-global    keycloak-7d866d756b-8hkg2                     0/1     Init:0/1                0              16m     172.32.94.16     oidc002   <none>           <none>
acc-global    keycloak-db-8f87b8dc7-kqttn                   0/1     CrashLoopBackOff        12 (92s ago)   16m     172.32.100.221   oidc003   <none>           <none>
acc-system    opensearch-cluster-master-0                   0/1     Init:CrashLoopBackOff   5 (15s ago)    3m19s   172.32.94.27     oidc002   <none>           <none>

현재 다음 4개의 Pod가 정상적으로 올라오고 있지 않습니다.

Error from server (BadRequest): container "opensearch" in pod "opensearch-cluster-master-0" is waiting to start: PodInitializing

현재 아코디언은 삭제해놨습니다.

[bconfiden2]

nfs 버전은 v3 으로 세팅해야 할까요? v4로 기억하고 있었고, 리드미에도 v4로 세팅해야된다고 되어있는데, 호스트파일을 확인해보니 v3 로 변경해주신 것 같아서요!

v4 로 다시 세팅하고 NAS서버 재생성하여 설치를 진행했는데 여전히 마운트가 실패하여 여쭤봅니다!

[bskim-mantech]

안녕하세요.
NCP NAS 의 nfs 버전이 v4 만 제공하는 줄 알고 있었는데
v3, v4 두가지인 것으로 보입니다.
하지만 콘솔에서는 선택할 수 없는 것으로 보이고 할당 받은 이후, 서버에서 nfs 버전을 체크해야 확인 가능합니다.
nfsstat -s 를 통해 nfs 버전을 확인하고 아코디언 설정 변경후 설치 진행부탁드립니다.

[bconfiden2]

v3 버전으로 세팅하여 해당 문제는 해결하였지만, 아래처럼 13-acc-global-after : Wait_for keycloak 에서 다시 실패하였습니다.

[bconfiden2]

keycloak-db 가 제대로 생성되지 않아서 해당 컨테이너를 대기하고있는 keycloak 이 완료되지 못하는 상황이라고 생각하였습니다.

keycloak-db 를 살펴보았을 때, oidc003 에 스케줄링 되어 마스터노드의 레지스트리로부터 이미지를 가져가는데는 성공했지만, 컨테이너가 실행되자마자 바로 종료되는 back-off restarting failed container 메시지를 출력하고 있습니다.

keycloak-db 의 옵션 중에 아래 그림을 보면 /var/lib/postgresql/data 를 마운트하는 것 같은데, 호스트에서 해당 경로가 존재하지 않는 상태입니다.

마운트되지 않았기 때문에 데이터를 참조하지 못하고 바로 종료되지 않는건가 싶어서 말씀드려봅니다!

[mantech-accordion]

안녕하세요. 해당 문제는 nfs 이슈로 판단됩니다.
docker-library/postgres#361

다른 팀들도 동일한 셋팅으로 설치하고 있는데 해당 이슈가 발견되지 않는 것으로 보아 할당 받은 NAS의 문제로 예상됩니다.
우선 keycloak-db의 pvc를 제거하여 설치를 완료하였습니다.
keycloak-db는 아코디언 SSO 역할을 하고 있습니다.
아코디언 계정 생성/변경된 데이터를 영구적으로 저장하지는 못하지만 아코디언 사용에는 문제는 없습니다.

설치된 아코디언은 아래 주소로 확인 가능합니다.

https://175.45.195.59:30000/
admin
accordion!@#$

[bconfiden2]

왜 저희 팀만 NCP에서 나스 세팅이 다르게 되는지 모르겠네요...

설치 완료된 것 확인하였습니다 감사합니다!

그러나 비용 문제로 인해 이후에 설치를 다시 진행하려고 하는데, 동일한 문제가 발생할 경우 어떻게 해결할 수 있을지 여쭤봐도 될까요?

[mantech-accordion]

NCP 에서 할당받는 자원(서버 및 스토리지)이 간혹 구형인 경우, 문제가 발생하기도 합니다. 😅
요금에 부담이 된다면 사용하지 않을때 서버를 정지시켜놓으면 표준요금(일부 디스크 사용 요금)만 나가니 참고해주세요. 🙏
아코디언은 서버 부팅시 같이 컨테이너와 함께 실행되니 서버 정지로 인한 문제는 발생하지 않습니다.
그래도 요금이 부담스럽다면 master 는 8core 16GB로 유지하되 worker 노드를 낮춰주세요.

[bconfiden2]

알겠습니다. 다음에 궁금한 부분 생기면 또 여쭤보겠습니다.

감사합니다!