2026-10-29 클라우드 데이터 플랫폼으로 ETL/분석 현대화하기

📋 밋업 한눈에 보기 Dallas에서 방문한 발표자가 클라우드 기반 데이터 플랫폼을 통해 ETL과 분석(Analytics)을 현대화하는 주제로 발표했다. 과거에는 정해진 주기로 제한된 양의 데이터만 적재했지만, 지금은 데이터양과 소스가 폭발적으로 늘어나면서 더 유연한 수집·처리 방식이 필요해졌다는 문제의식을 전달했다. 발표 중 화면 공유(프레젠테이션)가 제대로 진행되지 않아 세부 아키텍처 설명은 충분히 전달되지 못했다. 질의응답에서는 노코드/로우코드 도구를 데이터 파이프라인에 통합하는 경험에 대한 질문이 나왔지만 명확한 답변으로 마무리되지는 않았다. 🔑 핵심 요점 클라우드 환경에서 데이터량과 데이터 소스 종류가 급격히 늘어나면서 기존 방식으로는 감당하기 어려워졌다는 문제의식에서 발표가 시작됐다. 과거에는 정해진 주기로만 데이터를 적재했지만, 지금은 데이터가 생성되는 위치와 형식이 훨씬 다양해졌다는 점을 강조했다. 최신 기술을 활용하면 다양한 위치와 형식의 데이터를 유연하게 수집(ingest)하고 가공할 수 있다고 설명했다. 수집된 데이터는 이후 머신러닝 등 다운스트림 분석에 활용될 수 있다고 짧게 언급했다. 스트리밍 방식의 데이터 처리를 점점 더 많은 조직이 채택하고 있다는 점도 짚었다. 발표 중 화면 공유(프레젠테이션) 문제로 상세한 아키텍처 설명이 충분히 전달되지 못했다. 청중 질의에서는 노코드/로우코드 도구를 데이터 파이프라인에 통합하는 경험에 대한 질문이 나왔으나 답변이 명확히 마무리되지 않았다. 🛠 핵심 기술 쉽게 이해하기 ETL (Extract-Transform-Load) 여러 소스의 데이터를 추출(Extract)해서 변환(Transform)하고, 최종 저장소에 적재(Load)하는 전통적인 데이터 처리 방식이다. 보통 정해진 배치 주기로 실행된다. ...

October 29, 2026 · 3 min · 527 words · jeonck

2026-08-28 AI 시대의 데이터 파이프라인: PostgreSQL, Iceberg, CDC로 페르소나별 아키텍처 만들기

📋 밋업 한눈에 보기 발표자는 그동안 AI 학습에 투입해 온 값비싼 인프라와 경험을 운영 환경에서 재활용하기 위해, 분석가·데이터 사이언티스트·ML 엔지니어 등 사용자 유형(페르소나)별로 서로 다른 3개의 데이터 파이프라인을 구축한 경험을 공유했다. PostgreSQL을 트랜잭션과 분석을 함께 처리하는 중심 데이터베이스로 삼고, CDC로 변경 데이터를 캡처해 자연어 인터페이스에 연결하거나 Apache Iceberg 기반 lakehouse로 모으는 구조를 소개했다. 발표 후반에는 Kafka를 Kubernetes 오퍼레이터로 운영하는 방식과 KRaft로의 전환, 그리고 AI 에이전트가 DB에 접근할 때 필요한 보안(시크릿 관리, SELECT 전용 권한) 이야기가 이어졌다. 전반적으로 오픈소스와 CNCF 커뮤니티에 경험을 되돌려주고 싶다는 메시지가 강조됐다. ...

August 28, 2026 · 4 min · 709 words · jeonck