전통적 ETL에서 에이전트 기반 데이터 플랫폼으로
2022년 11월 생성형 AI가 대중화된 이후 소프트웨어 개발 전반의 작업 방식이 바뀌었고, 데이터 엔지니어링도 예외는 아니다. 과거에는 엔지니어가 원천 시스템마다 수동으로 파이프라인을 작성해 연결했지만, 수십 개의 소스 시스템을 다루는 조직에서는 이 방식이 금방 한계에 부딪힌다. 최근 Next Platform이 다룬 사례는 자연어 프롬프트만으로 파이프라인을 생성하고 실행하는 에이전트를 소개하며, 반복적인 수집·설정 작업을 에이전트가 대신 떠맡는 방향을 보여준다(Next Platform).
Medallion Architecture: 에이전트가 움직이는 무대
이런 에이전트들이 작동하는 표준 무대가 bronze-silver-gold로 이어지는 medallion architecture다. Bronze는 원천 데이터를 가공 없이 그대로 적재하고, silver는 타입 정리·중복 제거·검증을 거치며, gold는 대시보드나 BI 도구가 바로 소비할 수 있는 비즈니스 레벨 테이블이다(MotherDuck 용어집). 발표에서 나온 “컨피규레이션 테이블만 채우면 소스 연결부터 gold 적재까지 자동화된다"는 설명도 이 구조를 기반으로 한다. 에이전트는 레이어 경계마다 규칙을 적용해 품질을 점진적으로 끌어올리는 역할을 맡는 셈이다.
세 갈래 에이전트: 수집, 셀프힐링, 근본원인분석
현업에서 등장하는 에이전트는 대략 세 가지로 나뉜다. 첫째는 수집·거버넌스 에이전트로, 기본키 위반이나 조인 실패 같은 이상을 감지해 문제 레코드를 소비 레이어에서 자동 격리한다. 둘째는 self-healing 운영 에이전트다. 최근 arXiv에 공개된 아키텍처 논문은 탐지→진단→복구→피드백의 4단계 루프를 제시하며, 네트워크 타임아웃 같은 일시적 오류는 자동 재시도로 처리하되 더 위험한 조치는 사람의 승인을 받도록 설계해야 한다고 강조한다(arXiv 2608.01955). 셋째는 근본원인분석(RCA) 에이전트다. Sifflet 같은 데이터 옵저버빌리티 벤더는 lineage 그래프에 코드 변경 이력과 과거 인시던트를 함께 추적해 “어제까지 멀쩡했던 레코드가 왜 오늘 사라졌는가"라는 질문에 수 초 내 답을 내놓는 사례를 보여준다(Sifflet 블로그). Acceldata 역시 스키마나 파이프라인 로직이 바뀔 때마다 lineage 그래프를 자동으로 갱신하는 에이전트를 내세운다(Acceldata 블로그).
도입 전에 따져야 할 질문: ROI와 거버넌스
문제는 모든 아이디어를 에이전트로 옮기는 게 정답은 아니라는 점이다. McKinsey의 2025년 State of AI 조사를 정리한 자료에 따르면 조직의 74%가 1년 내 ROI를 봤다고 답했지만, 기업 전체 EBIT에 영향을 줬다고 답한 비율은 39%에 그쳤다(McKinsey 리포트 요약). Gartner는 더 나아가 2027년 말까지 에이전틱 AI 프로젝트의 40% 이상이 비용·불명확한 가치·리스크 관리 부족을 이유로 취소될 것이라 전망했다(Landbase 정리). 발표자가 언급한 “문서화 에이전트가 매번 전체 파이프라인을 스캔해 리소스를 낭비한 사례"도 같은 교훈을 담고 있다. 에이전트를 투입하기 전에 비즈니스 임팩트를 먼저 수치로 검증해야 한다는 것이다.
마무리
데이터 엔지니어링의 중심이 “직접 짜는 파이프라인"에서 “에이전트가 관리하는 설정 기반 플랫폼"으로 옮겨가는 흐름은 분명하다. 다만 수집부터 품질, 운영, RCA까지 에이전트를 단계적으로 도입하면서도 각 단계의 비용과 리스크를 medallion architecture의 레이어처럼 점진적으로 검증하는 태도가 필요하다.
🔗 참고 자료 (작성 중 열람한 자료)
- MotherDuck 용어집: Medallion Architecture — bronze-silver-gold 레이어 구조와 각 레이어의 역할을 설명하는 근거
- Next Platform - Automating data pipelines with AI agents — 자연어 프롬프트 기반 파이프라인 생성 에이전트 사례의 근거
- Sifflet - What is Root Cause Analysis in Data Observability? — lineage 기반 근본원인분석 에이전트 동작 방식의 근거
- arXiv 2608.01955 - Agentic Self-Healing for Data and AI Pipelines — 탐지-진단-복구-피드백 4단계 셀프힐링 아키텍처와 인간 승인 게이트의 근거
- Acceldata - Automating Pipeline Reliability with Agentic Data Systems — 스키마 변경 시 lineage 그래프를 자동 갱신하는 에이전트 사례의 근거
- cosupport.ai - The State of AI in 2025, McKinsey Report Key Findings — AI 도입 ROI 대비 기업 전체 EBIT 영향 비율 통계의 근거
- Landbase - Agentic AI Statistics (Gartner 전망 정리) — 2027년까지 에이전틱 AI 프로젝트 40% 이상 취소 전망의 근거