📋 밋업 한눈에 보기

Dallas에서 방문한 발표자가 클라우드 기반 데이터 플랫폼을 통해 ETL과 분석(Analytics)을 현대화하는 주제로 발표했다. 과거에는 정해진 주기로 제한된 양의 데이터만 적재했지만, 지금은 데이터양과 소스가 폭발적으로 늘어나면서 더 유연한 수집·처리 방식이 필요해졌다는 문제의식을 전달했다. 발표 중 화면 공유(프레젠테이션)가 제대로 진행되지 않아 세부 아키텍처 설명은 충분히 전달되지 못했다. 질의응답에서는 노코드/로우코드 도구를 데이터 파이프라인에 통합하는 경험에 대한 질문이 나왔지만 명확한 답변으로 마무리되지는 않았다.

🔑 핵심 요점

  • 클라우드 환경에서 데이터량과 데이터 소스 종류가 급격히 늘어나면서 기존 방식으로는 감당하기 어려워졌다는 문제의식에서 발표가 시작됐다.
  • 과거에는 정해진 주기로만 데이터를 적재했지만, 지금은 데이터가 생성되는 위치와 형식이 훨씬 다양해졌다는 점을 강조했다.
  • 최신 기술을 활용하면 다양한 위치와 형식의 데이터를 유연하게 수집(ingest)하고 가공할 수 있다고 설명했다.
  • 수집된 데이터는 이후 머신러닝 등 다운스트림 분석에 활용될 수 있다고 짧게 언급했다.
  • 스트리밍 방식의 데이터 처리를 점점 더 많은 조직이 채택하고 있다는 점도 짚었다.
  • 발표 중 화면 공유(프레젠테이션) 문제로 상세한 아키텍처 설명이 충분히 전달되지 못했다.
  • 청중 질의에서는 노코드/로우코드 도구를 데이터 파이프라인에 통합하는 경험에 대한 질문이 나왔으나 답변이 명확히 마무리되지 않았다.

🛠 핵심 기술 쉽게 이해하기

ETL (Extract-Transform-Load)

여러 소스의 데이터를 추출(Extract)해서 변환(Transform)하고, 최종 저장소에 적재(Load)하는 전통적인 데이터 처리 방식이다. 보통 정해진 배치 주기로 실행된다.

왜 필요한가 — 흩어져 있는 원시 데이터를 분석 가능한 정리된 형태로 모으기 위해 사용한다.

발표에서는 — 발표자는 과거의 제한적이고 주기적인 데이터 적재 방식과 비교해, 현재는 훨씬 다양한 데이터 소스와 수집 패턴을 다뤄야 한다는 점을 강조했다.

Data Lake

정형/비정형 데이터를 원래 형식 그대로 대량으로 모아두는 저장소다. 미리 가공하지 않고 필요할 때 꺼내 쓰는 방식이다.

왜 필요한가 — 다양한 포맷과 출처의 데이터를 미리 정제하지 않고도 한 곳에 보관해두기 위함이다.

발표에서는 — 데이터가 어디서든, 어떤 형태로든 생성되고 쌓일 수 있다는 점을 언급하며 유연한 저장 방식의 필요성을 시사했다.

Streaming Data Pipeline

데이터가 생성되는 즉시 끊김 없이 흘려보내며 처리하는 방식이다. 배치 처리와 달리 지연 시간이 짧다.

왜 필요한가 — 배치 처리의 지연을 줄이고 실시간성 있는 데이터 활용을 가능하게 하기 위함이다.

발표에서는 — 많은 조직이 스트리밍 방식의 데이터 처리를 점점 더 많이 채택하고 있다고 언급했다.

Machine Learning (다운스트림 데이터 활용)

수집·적재된 데이터를 학습에 활용해 패턴이나 인사이트를 찾아내는 기술이다.

왜 필요한가 — 단순히 데이터를 저장하는 것을 넘어 실제 가치를 끌어내기 위해 필요하다.

발표에서는 — 적재된 데이터가 머신러닝을 포함한 다양한 다운스트림 분석에 쓰일 수 있다고 짧게 언급됐다.

🧭 추구 방향과 흐름

  • ETL/데이터 파이프라인의 클라우드 네이티브화 — 과거의 제한적이고 주기적인 데이터 적재 방식에서 벗어나, 클라우드 기반으로 다양한 소스와 포맷의 데이터를 유연하게 수집하고 처리하려는 흐름을 다뤘다. 데이터양과 소스가 늘어난 현실에 맞춰 수집 방식을 현대화해야 한다는 메시지가 반복적으로 언급됐다.
  • 데이터 소비 방식의 다변화 — 수집된 데이터가 전통적인 리포팅뿐 아니라 머신러닝 등 다양한 다운스트림 용도로 쓰이는 방향을 지향한다고 언급했다. 데이터를 모으는 것 자체보다 이후 활용 가능성을 염두에 둔 설계가 강조됐다.

🚀 바로 활용하기

  1. 사내 데이터 파이프라인에서 배치 수집과 스트리밍 수집이 혼재되어 있는지 점검해보기.
  2. Apache Kafka, Apache Airflow 같은 오픈소스 데이터 통합 도구의 공식 문서를 훑어보며 ETL 현대화에 필요한 요소를 파악하기.
  3. 새로운 데이터 소스를 설계할 때 수집한 데이터가 머신러닝 등 다운스트림에서 어떻게 활용될지 미리 반영하기.

🔗 참고 자료

  • Apache Kafka — 스트리밍 기반 데이터 수집/파이프라인 개념을 이해하는 데 참고할 수 있는 공식 문서.
  • Apache Airflow — ETL/데이터 파이프라인 오케스트레이션의 대표적 오픈소스 도구.
  • Apache Spark — 대규모 데이터 변환 및 분석(ETL 현대화)에 널리 쓰이는 오픈소스 엔진.
  • Apache Flink — 실시간 스트리밍 데이터 처리에 쓰이는 오픈소스 프레임워크.
  • Apache Hadoop — Data Lake 개념의 기반이 된 분산 저장/처리 플랫폼 공식 사이트.