[Kubernetes-Troubleshooting] 삭제되지 않는 Namespace 강제로 삭제하기

How to force deletion of a namespace

문제 상황

Argo Project의 Argo Events를 테스트해 보기 위해서 여러 가지 작업을 하던 중 제대로 처리가 되지 않아서 다시 시작할 겸 Namespace를 삭제해서 소속된 리소스들을 모두 삭제했다.

그런데 위의 그림처럼 Argo Events Namespace가 삭제되지 않고 Terminating 상태로 계속 유지되는 문제가 발생했다.

문제 원인

정상적으로 삭제될 수 있는 시간을 지나서도 Terminating 상태로 남아있어서 원인에 대한 부분을 찾다가 Namespace의 다른 모든 Resource들은 삭제되었는데 (정확하게는 Dashboard에도 조회가 되지 않고, kubectl get 명령으로도 보이지 않는) Namespace만 저런 상태라서 Namespace에 대한 정보를 출력해 보았다.

# Resource 정보 출력
$ kubectl get namespace argo-events -o yaml

apiVersion: v1
kind: Namespace
metadata:
  creationTimestamp: "2021-01-13T10:40:07Z"
  deletionTimestamp: "2021-01-15T09:31:30Z"
...
spec:
  finalizers:
  - kubernetes              # Namespace에 대한 Finalizers
status:
  conditions:
  - lastTransitionTime: "2021-01-15T09:31:36Z"
    message: All resources successfully discovered
    reason: ResourcesDiscovered
    status: "False"
    type: NamespaceDeletionDiscoveryFailure
  - lastTransitionTime: "2021-01-15T09:31:36Z"
    message: All legacy kube types successfully parsed
    reason: ParsedGroupVersions
    status: "False"
    type: NamespaceDeletionGroupVersionParsingFailure
  - lastTransitionTime: "2021-01-15T09:31:36Z"
    message: All content successfully deleted, may be waiting on finalization
    reason: ContentDeleted
    status: "False"
    type: NamespaceDeletionContentFailure
  - lastTransitionTime: "2021-01-15T09:31:36Z"
    message: 'Some resources are remaining: eventbus.argoproj.io has 1 resource instances'    # 일부 리소스가 남아 있다는 상태
    reason: SomeResourcesRemain
    status: "True"
    type: NamespaceContentRemaining
  - lastTransitionTime: "2021-01-15T09:31:36Z"
    message: 'Some content in the namespace has finalizers remaining: eventbus-controller
      in 1 resource instances'                                                                # 일부 리소스의 Finalizer가 남아 있다는 상태
    reason: SomeFinalizersRemain
    status: "True"
    type: NamespaceFinalizersRemaining
  phase: Terminating

위의 결과에서 status 부분을 보면 2 가지 문제가 존재하는 것을 확인할 수 있다.

• eventbus.argoproj.io 에 하나의 리소스 인스턴스가 남아 있는 상태
• eventbus-controller 의 finalizer가 남아 있는 상태

유추해 보면 리소스 자체는 삭제가 되었지만 Finalizer가 제대로 처리되지 못해서 발생하는 상태로 보인다. 주로 이와 같은 상황은 아래와 같이 두 가지로 판단할 수 있을 것 같다.

• Custom Finalizer가 정리되지 않는 경우이런 경우라면 finalizer와 연관된 Controller가 무엇인지를 확인하고 수정해야 한다.
• Namespace의 Spec (.spec.finalizers) 내용에 kubernetes 이외의 다른 요소가 존재하는 경우는 주로 CRD (Custom Resource Definition)에 따른 Extension Cotroller가 정리되지 않는 상태로 볼 수 있다.
• Kubernetes Finalizer가 정리되지 않는 경우확인 결과 모든 리소스가 삭제된 상태라면 admission webhook이나 extension api server에서 오류가 발생했을 수 있음을 의미한다. Namespace가 삭제될 때 각 리소스를 삭제하기 위해서 보내는 요청은 delete가 아니라 delete-collection 이므로 이 요청이 제대로 처리되었는지를 확인해야 한다.
• Namespace의 Spec (.spec.finalizers) 내용에 kubernetes만 존재하는 경우로 기본 Finalizer이므로 Namespace내의 모든 리소스가 삭제되면 마지막으로 처리가 되는 것인데 진행되지 않고 있다는 것은 실제 모든 리소스가 삭제되었는지 확인해 봐야하는 것을 의미한다.

참고

Namespace의 .spec.finalizers 는 Sub resource기 때문에 kubectl edit, kubectl update 등의 명령으로 수정되지 않는다. 따라서 curl 또는 Postman 등으로 직접 API를 호출해서 처리해야 한다.

해당 오류를 찾아서 해결하면 되지만 Namespace를 삭제하는 과정에서 이런 문제가 발생된 것이기 때문에 이미 Namespace의 리소스들은 삭제 처리가 되어 정상적인 방법으로 처리할 수 없다. 따라서 이 상태에는 Namespace를 기준으로 강제 삭제를 해야 한다.

해결 방법

지금 발생한 상황은 위에서 설명한 두 가지 경우중 Kubernetes Finalizer가 정리되지 않는 경우에 해당하기 때문에 모든 리소스가 삭제되었는지를 먼저 확인해 보도록 한다.

$ kubectl get all

위 명령은 Category All의 의미기 때문에 실제 모든 리소스를 보여주는 것이 아니다. 따라서 아래의 명령으로 실제 api-resourrce에 namespace로 한정된 리소스들의 이름을 조회해 보아야 한다.

$ kubectl api-resources --namespaced=true -o name
...
eventbus.argoproj.io           # argo-events namespace 내의 리소스
eventsources.argoproj.io       # argo-events namespace 내의 리소스
sensors.argoproj.io            # argo-events namespace 내의 리소스
...

위 명령으로 모든 리소스들의 이름을 확인해 본 결과 위의 결과와 같이 이미 삭제되었어야 할 리소스 이름이 남아 있었다. 이들 리소슥가 삭제되지 못한 이유를 확인해야 한다. 대부분은 metadata.finalizer에 문제의 원인이 있을 가능성이 높다.

지금까지의 판단으로는 CRD를 사용했을 때 이런 문제가 많이 발생했던 것으로 유추되므로 처리하기 이전에 아래와 같이 CRD가 존재한다면 Finalizer를 미리 제거해도 된다.

# CRD 확인
$ kubectl get crd -A

# CRD의 Finalizer 제거
$ kubectl patch crd <crd name> -p '{"metadata":{"finalizers": []}}' --type=merge

위에서 설명한 것과 같이 현재는 개별 문제가 발생된 리소스에 접근할 수 있는 방법이 없기 때문에 (방법을 못 찾았을 수도 있다) Namespace를 강제 삭제하도록 한다.

1. 삭제되지 않는 Namespace 정보를 JSON 형식으로 저장한다.
2. $ kubectl get namespace argo-events -o json > argo-events-namespace-for-delete.json
3. 저장된 Namespace 정보에서 Finalizers 부분의 - kuberntes를 제거한다.
4. # 저장된 내용 ... spec: finalizers: - kubernetes ... # 위의 내용에서 Finalizers로 지정된 kubernetes 삭제 ... spec: finalizers: ...
5. Kubernetes API를 직접 호출해서 Finalize 처리 진행
6. # kubectl proxy를 이용해서 저장된 인증 토큰을 사용 $ kubectl proxy # 다른 터미널을 열어서 API 호출 $ curl --insecure -k -H "Content-Type: application/json" -X PUT --data-binary @argo-events-namespace-for-delete.json http://localhost:8001/api/v1/namespaces/argo-events/finalize

Namespace가 삭제되지 못하고 있는 원인인 Finalize를 직접 API 서버를 호출해서 처리하면 Namespace를 삭제할 수 있다.

주의

이 방법으로 삭제되지 않고 남아있는 Namespace는 삭제를 할 수 있지만 정말 해당 리소스들이 깨긋하게 삭제되었는지에 대한 검증을 할 수는 없었다. 이에 대한 검증이나 추가적인 문제들이 있는지는 향후 검토가 필요하다.

Update at : 2021-01-19
Namespace가 삭제된 후에 다시 한번 확인해 보면 몇 가지를 확인할 수 있다.

$ kubectl api-resource --namespaced
NAME                        SHORTNAMES   APIGROUP                    NAMESPACED   KIND
...
cronworkflows               cwf,cronwf   argoproj.io                 true         CronWorkflow
sensors                     sn           argoproj.io                 true         Sensor
workfloweventbindings       wfeb         argoproj.io                 true         WorkflowEventBinding
workflows                   wf           argoproj.io                 true         Workflow
workflowtemplates           wftmpl       argoproj.io                 true         WorkflowTemplate
...

위와 같이 Namespace가 삭제되었지만 남아있는 리소스들을 확인할 수 있다. 따라서 이 리소스들을 삭제 해 줘야 한다. 그렇지 않으면 동일한 Namespace를 생성했을 때 오 동작의 원인이 될 수 있다.