2026-10-29 에이전틱 데이터 엔지니어링: AI 에이전트가 파이프라인을 설계하고 고치는 시대
전통적 ETL에서 에이전트 기반 데이터 플랫폼으로 2022년 11월 생성형 AI가 대중화된 이후 소프트웨어 개발 전반의 작업 방식이 바뀌었고, 데이터 엔지니어링도 예외는 아니다. 과거에는 엔지니어가 원천 시스템마다 수동으로 파이프라인을 작성해 연결했지만, 수십 개의 소스 시스템을 다루는 조직에서는 이 방식이 금방 한계에 부딪힌다. 최근 Next Platform이 다룬 사례는 자연어 프롬프트만으로 파이프라인을 생성하고 실행하는 에이전트를 소개하며, 반복적인 수집·설정 작업을 에이전트가 대신 떠맡는 방향을 보여준다(Next Platform). Medallion Architecture: 에이전트가 움직이는 무대 이런 에이전트들이 작동하는 표준 무대가 bronze-silver-gold로 이어지는 medallion architecture다. Bronze는 원천 데이터를 가공 없이 그대로 적재하고, silver는 타입 정리·중복 제거·검증을 거치며, gold는 대시보드나 BI 도구가 바로 소비할 수 있는 비즈니스 레벨 테이블이다(MotherDuck 용어집). 발표에서 나온 “컨피규레이션 테이블만 채우면 소스 연결부터 gold 적재까지 자동화된다"는 설명도 이 구조를 기반으로 한다. 에이전트는 레이어 경계마다 규칙을 적용해 품질을 점진적으로 끌어올리는 역할을 맡는 셈이다. ...