2026-10-29 에이전틱 데이터 엔지니어링: AI 에이전트가 파이프라인을 설계하고 고치는 시대

전통적 ETL에서 에이전트 기반 데이터 플랫폼으로 2022년 11월 생성형 AI가 대중화된 이후 소프트웨어 개발 전반의 작업 방식이 바뀌었고, 데이터 엔지니어링도 예외는 아니다. 과거에는 엔지니어가 원천 시스템마다 수동으로 파이프라인을 작성해 연결했지만, 수십 개의 소스 시스템을 다루는 조직에서는 이 방식이 금방 한계에 부딪힌다. 최근 Next Platform이 다룬 사례는 자연어 프롬프트만으로 파이프라인을 생성하고 실행하는 에이전트를 소개하며, 반복적인 수집·설정 작업을 에이전트가 대신 떠맡는 방향을 보여준다(Next Platform). Medallion Architecture: 에이전트가 움직이는 무대 이런 에이전트들이 작동하는 표준 무대가 bronze-silver-gold로 이어지는 medallion architecture다. Bronze는 원천 데이터를 가공 없이 그대로 적재하고, silver는 타입 정리·중복 제거·검증을 거치며, gold는 대시보드나 BI 도구가 바로 소비할 수 있는 비즈니스 레벨 테이블이다(MotherDuck 용어집). 발표에서 나온 “컨피규레이션 테이블만 채우면 소스 연결부터 gold 적재까지 자동화된다"는 설명도 이 구조를 기반으로 한다. 에이전트는 레이어 경계마다 규칙을 적용해 품질을 점진적으로 끌어올리는 역할을 맡는 셈이다. ...

October 29, 2026 · 3 min · 490 words · jeonck

2026-10-29 데이터 엔지니어링에 투입한 AI 에이전트: 수집·품질·운영 자동화

📋 밋업 한눈에 보기 발표자는 데이터 엔지니어링 전 과정에 AI 에이전트를 적용한 사례를 공유했다. configuration table만 입력하면 파이프라인을 자동으로 구성하는 수집 에이전트, primary key 위반 등 품질 문제를 자동으로 잡아 소비 계층에서 제외하는 거버넌스 에이전트, 수천 개 파이프라인의 네트워크·타임아웃 이슈를 스스로 감지하고 복구하는 운영 에이전트를 차례로 설명했다. 다음 단계로는 특정 레코드가 왜 대시보드에 반영되지 않았는지 레이어별로 추적해 원인을 짚어주는 lineage 기반 에이전트를 개발 중이라고 밝혔다. Q&A에서는 AI 에이전트 도입의 ROI를 어떻게 판단하는지에 대한 질문이 나왔고, 발표자는 모든 아이디어를 무분별하게 에이전트화하지 말고 비즈니스 케이스를 철저히 검증해야 한다고 답했다. ...

October 29, 2026 · 4 min · 830 words · jeonck