2026-08-28 Kubernetes 위의 Apache Flink: Operator 패턴으로 스트리밍 잡을 무중단 운영하기

Fri, 28 Aug 2026 09:59:40 +0900

왜 스트리밍 플랫폼은 Kubernetes로 향하는가

데이터 플랫폼 팀들은 이제 Flink 잡을 전용 클러스터가 아니라 Kubernetes 위에서 운영하는 방향으로 이동하고 있다. 조직 안에 이미 표준 오케스트레이션 계층이 존재하는데, 팀마다 별도 인프라를 두는 대신 배치·스트리밍 워크로드를 하나의 플랫폼에서 함께 관리하려는 요구가 커졌기 때문이다. Apache Flink 공식 문서는 Flink Kubernetes Operator가 “Kubernetes API를 커스텀 리소스로 확장해 Flink 애플리케이션의 생명주기(배포, 무중단 업그레이드, 오토스케일링)를 관리한다"고 설명한다(Operator Overview). CNCF도 오퍼레이터 패턴 자체를 “커스텀 리소스를 도메인 지식을 가진 컨트롤러가 지속적으로 조정(reconcile)하는 확장 모델"로 정의하며, 선언적 상태와 실제 상태를 계속 수렴시키는 피드백 루프가 핵심이라고 설명한다(Kubernetes Operators 101). 스트리밍 잡을 하나의 CR로 선언하고 컨트롤 루프가 알아서 원하는 상태로 맞춰준다는 것이, 이 흐름의 핵심 아이디어다.

2026-08-28 Flink 데이터 플랫폼과 Kubernetes 유지보수 시대응 Job 스케줄러

Fri, 28 Aug 2026 09:57:48 +0900

📋 밋업 한눈에 보기

인도에서 온 발표자가 자신의 팀이 스트리밍 데이터 처리에 Apache Flink를 어떻게 활용하는지 소개하며 발표를 시작했다. 이어서 Kubernetes 클러스터를 여러 zone으로 나누어 한 번에 일부씩 순차적으로 점검하는 rolling 유지보수 방식과, 그 과정에서 몇 시간에서 며칠씩 실행되는 외부(external) job이 갑자기 끊기지 않도록 보호하는 자체 스케줄러/컨트롤러 설계를 설명했다. Kubernetes custom resource와 leader election, checkpoint를 활용해 job 상태를 추적하고 중단 시 재개할 수 있도록 만든 구조가 핵심 내용이었다. Apache Airflow와 유사한 스케줄링 개념도 함께 언급되었다.

Apache-Flink on Meetup Insights

2026-08-28 Kubernetes 위의 Apache Flink: Operator 패턴으로 스트리밍 잡을 무중단 운영하기

왜 스트리밍 플랫폼은 Kubernetes로 향하는가

2026-08-28 Flink 데이터 플랫폼과 Kubernetes 유지보수 시대응 Job 스케줄러

📋 밋업 한눈에 보기