https://meetup.metacog.co.kr/tags/data-pipeline/Recent content in Data-Pipeline on Meetup InsightsHugoen-usFri, 28 Aug 2026 10:20:00 +0900https://meetup.metacog.co.kr/posts/2026-08-28-ai-postgresql-iceberg-cdc/Fri, 28 Aug 2026 10:20:00 +0900https://meetup.metacog.co.kr/posts/2026-08-28-ai-postgresql-iceberg-cdc/<h2 id="-밋업-한눈에-보기">📋 밋업 한눈에 보기</h2> <p>발표자는 그동안 AI 학습에 투입해 온 값비싼 인프라와 경험을 운영 환경에서 재활용하기 위해, 분석가·데이터 사이언티스트·ML 엔지니어 등 사용자 유형(페르소나)별로 서로 다른 3개의 데이터 파이프라인을 구축한 경험을 공유했다. PostgreSQL을 트랜잭션과 분석을 함께 처리하는 중심 데이터베이스로 삼고, CDC로 변경 데이터를 캡처해 자연어 인터페이스에 연결하거나 Apache Iceberg 기반 lakehouse로 모으는 구조를 소개했다. 발표 후반에는 Kafka를 Kubernetes 오퍼레이터로 운영하는 방식과 KRaft로의 전환, 그리고 AI 에이전트가 DB에 접근할 때 필요한 보안(시크릿 관리, SELECT 전용 권한) 이야기가 이어졌다. 전반적으로 오픈소스와 CNCF 커뮤니티에 경험을 되돌려주고 싶다는 메시지가 강조됐다.</p>