📋 밋업 한눈에 보기
Dallas에서 방문한 발표자가 클라우드 기반 데이터 플랫폼을 통해 ETL과 분석(Analytics)을 현대화하는 주제로 발표했다. 과거에는 정해진 주기로 제한된 양의 데이터만 적재했지만, 지금은 데이터양과 소스가 폭발적으로 늘어나면서 더 유연한 수집·처리 방식이 필요해졌다는 문제의식을 전달했다. 발표 중 화면 공유(프레젠테이션)가 제대로 진행되지 않아 세부 아키텍처 설명은 충분히 전달되지 못했다. 질의응답에서는 노코드/로우코드 도구를 데이터 파이프라인에 통합하는 경험에 대한 질문이 나왔지만 명확한 답변으로 마무리되지는 않았다.
🔑 핵심 요점
- 클라우드 환경에서 데이터량과 데이터 소스 종류가 급격히 늘어나면서 기존 방식으로는 감당하기 어려워졌다는 문제의식에서 발표가 시작됐다.
- 과거에는 정해진 주기로만 데이터를 적재했지만, 지금은 데이터가 생성되는 위치와 형식이 훨씬 다양해졌다는 점을 강조했다.
- 최신 기술을 활용하면 다양한 위치와 형식의 데이터를 유연하게 수집(ingest)하고 가공할 수 있다고 설명했다.
- 수집된 데이터는 이후 머신러닝 등 다운스트림 분석에 활용될 수 있다고 짧게 언급했다.
- 스트리밍 방식의 데이터 처리를 점점 더 많은 조직이 채택하고 있다는 점도 짚었다.
- 발표 중 화면 공유(프레젠테이션) 문제로 상세한 아키텍처 설명이 충분히 전달되지 못했다.
- 청중 질의에서는 노코드/로우코드 도구를 데이터 파이프라인에 통합하는 경험에 대한 질문이 나왔으나 답변이 명확히 마무리되지 않았다.
🛠 핵심 기술 쉽게 이해하기
ETL (Extract-Transform-Load)
여러 소스의 데이터를 추출(Extract)해서 변환(Transform)하고, 최종 저장소에 적재(Load)하는 전통적인 데이터 처리 방식이다. 보통 정해진 배치 주기로 실행된다.
왜 필요한가 — 흩어져 있는 원시 데이터를 분석 가능한 정리된 형태로 모으기 위해 사용한다.
발표에서는 — 발표자는 과거의 제한적이고 주기적인 데이터 적재 방식과 비교해, 현재는 훨씬 다양한 데이터 소스와 수집 패턴을 다뤄야 한다는 점을 강조했다.
Data Lake
정형/비정형 데이터를 원래 형식 그대로 대량으로 모아두는 저장소다. 미리 가공하지 않고 필요할 때 꺼내 쓰는 방식이다.
왜 필요한가 — 다양한 포맷과 출처의 데이터를 미리 정제하지 않고도 한 곳에 보관해두기 위함이다.
발표에서는 — 데이터가 어디서든, 어떤 형태로든 생성되고 쌓일 수 있다는 점을 언급하며 유연한 저장 방식의 필요성을 시사했다.
Streaming Data Pipeline
데이터가 생성되는 즉시 끊김 없이 흘려보내며 처리하는 방식이다. 배치 처리와 달리 지연 시간이 짧다.
왜 필요한가 — 배치 처리의 지연을 줄이고 실시간성 있는 데이터 활용을 가능하게 하기 위함이다.
발표에서는 — 많은 조직이 스트리밍 방식의 데이터 처리를 점점 더 많이 채택하고 있다고 언급했다.
Machine Learning (다운스트림 데이터 활용)
수집·적재된 데이터를 학습에 활용해 패턴이나 인사이트를 찾아내는 기술이다.
왜 필요한가 — 단순히 데이터를 저장하는 것을 넘어 실제 가치를 끌어내기 위해 필요하다.
발표에서는 — 적재된 데이터가 머신러닝을 포함한 다양한 다운스트림 분석에 쓰일 수 있다고 짧게 언급됐다.
🧭 추구 방향과 흐름
- ETL/데이터 파이프라인의 클라우드 네이티브화 — 과거의 제한적이고 주기적인 데이터 적재 방식에서 벗어나, 클라우드 기반으로 다양한 소스와 포맷의 데이터를 유연하게 수집하고 처리하려는 흐름을 다뤘다. 데이터양과 소스가 늘어난 현실에 맞춰 수집 방식을 현대화해야 한다는 메시지가 반복적으로 언급됐다.
- 데이터 소비 방식의 다변화 — 수집된 데이터가 전통적인 리포팅뿐 아니라 머신러닝 등 다양한 다운스트림 용도로 쓰이는 방향을 지향한다고 언급했다. 데이터를 모으는 것 자체보다 이후 활용 가능성을 염두에 둔 설계가 강조됐다.
🚀 바로 활용하기
- 사내 데이터 파이프라인에서 배치 수집과 스트리밍 수집이 혼재되어 있는지 점검해보기.
- Apache Kafka, Apache Airflow 같은 오픈소스 데이터 통합 도구의 공식 문서를 훑어보며 ETL 현대화에 필요한 요소를 파악하기.
- 새로운 데이터 소스를 설계할 때 수집한 데이터가 머신러닝 등 다운스트림에서 어떻게 활용될지 미리 반영하기.
🔗 참고 자료
- Apache Kafka — 스트리밍 기반 데이터 수집/파이프라인 개념을 이해하는 데 참고할 수 있는 공식 문서.
- Apache Airflow — ETL/데이터 파이프라인 오케스트레이션의 대표적 오픈소스 도구.
- Apache Spark — 대규모 데이터 변환 및 분석(ETL 현대화)에 널리 쓰이는 오픈소스 엔진.
- Apache Flink — 실시간 스트리밍 데이터 처리에 쓰이는 오픈소스 프레임워크.
- Apache Hadoop — Data Lake 개념의 기반이 된 분산 저장/처리 플랫폼 공식 사이트.