2026-10-29 클라우드 데이터 플랫폼으로 ETL/분석 현대화하기
📋 밋업 한눈에 보기 Dallas에서 방문한 발표자가 클라우드 기반 데이터 플랫폼을 통해 ETL과 분석(Analytics)을 현대화하는 주제로 발표했다. 과거에는 정해진 주기로 제한된 양의 데이터만 적재했지만, 지금은 데이터양과 소스가 폭발적으로 늘어나면서 더 유연한 수집·처리 방식이 필요해졌다는 문제의식을 전달했다. 발표 중 화면 공유(프레젠테이션)가 제대로 진행되지 않아 세부 아키텍처 설명은 충분히 전달되지 못했다. 질의응답에서는 노코드/로우코드 도구를 데이터 파이프라인에 통합하는 경험에 대한 질문이 나왔지만 명확한 답변으로 마무리되지는 않았다. 🔑 핵심 요점 클라우드 환경에서 데이터량과 데이터 소스 종류가 급격히 늘어나면서 기존 방식으로는 감당하기 어려워졌다는 문제의식에서 발표가 시작됐다. 과거에는 정해진 주기로만 데이터를 적재했지만, 지금은 데이터가 생성되는 위치와 형식이 훨씬 다양해졌다는 점을 강조했다. 최신 기술을 활용하면 다양한 위치와 형식의 데이터를 유연하게 수집(ingest)하고 가공할 수 있다고 설명했다. 수집된 데이터는 이후 머신러닝 등 다운스트림 분석에 활용될 수 있다고 짧게 언급했다. 스트리밍 방식의 데이터 처리를 점점 더 많은 조직이 채택하고 있다는 점도 짚었다. 발표 중 화면 공유(프레젠테이션) 문제로 상세한 아키텍처 설명이 충분히 전달되지 못했다. 청중 질의에서는 노코드/로우코드 도구를 데이터 파이프라인에 통합하는 경험에 대한 질문이 나왔으나 답변이 명확히 마무리되지 않았다. 🛠 핵심 기술 쉽게 이해하기 ETL (Extract-Transform-Load) 여러 소스의 데이터를 추출(Extract)해서 변환(Transform)하고, 최종 저장소에 적재(Load)하는 전통적인 데이터 처리 방식이다. 보통 정해진 배치 주기로 실행된다. ...