<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/"><channel><title>Data-Engineering on Meetup Insights</title><link>https://meetup.metacog.co.kr/tags/data-engineering/</link><description>Recent content in Data-Engineering on Meetup Insights</description><generator>Hugo</generator><language>en-us</language><lastBuildDate>Thu, 29 Oct 2026 09:35:01 +0900</lastBuildDate><atom:link href="https://meetup.metacog.co.kr/tags/data-engineering/index.xml" rel="self" type="application/rss+xml"/><item><title>2026-10-29 에이전틱 데이터 엔지니어링: AI 에이전트가 파이프라인을 설계하고 고치는 시대</title><link>https://meetup.metacog.co.kr/blog/2026-10-29-ai-2/</link><pubDate>Thu, 29 Oct 2026 09:35:01 +0900</pubDate><guid>https://meetup.metacog.co.kr/blog/2026-10-29-ai-2/</guid><description>&lt;h2 id="전통적-etl에서-에이전트-기반-데이터-플랫폼으로"&gt;전통적 ETL에서 에이전트 기반 데이터 플랫폼으로&lt;/h2&gt;
&lt;p&gt;2022년 11월 생성형 AI가 대중화된 이후 소프트웨어 개발 전반의 작업 방식이 바뀌었고, 데이터 엔지니어링도 예외는 아니다. 과거에는 엔지니어가 원천 시스템마다 수동으로 파이프라인을 작성해 연결했지만, 수십 개의 소스 시스템을 다루는 조직에서는 이 방식이 금방 한계에 부딪힌다. 최근 Next Platform이 다룬 사례는 자연어 프롬프트만으로 파이프라인을 생성하고 실행하는 에이전트를 소개하며, 반복적인 수집·설정 작업을 에이전트가 대신 떠맡는 방향을 보여준다(&lt;a href="https://www.nextplatform.com/2025/08/19/automating-data-pipelines-with-ai-agents/"&gt;Next Platform&lt;/a&gt;).&lt;/p&gt;
&lt;h2 id="medallion-architecture-에이전트가-움직이는-무대"&gt;Medallion Architecture: 에이전트가 움직이는 무대&lt;/h2&gt;
&lt;p&gt;이런 에이전트들이 작동하는 표준 무대가 bronze-silver-gold로 이어지는 medallion architecture다. Bronze는 원천 데이터를 가공 없이 그대로 적재하고, silver는 타입 정리·중복 제거·검증을 거치며, gold는 대시보드나 BI 도구가 바로 소비할 수 있는 비즈니스 레벨 테이블이다(&lt;a href="https://motherduck.com/glossary/medallion-architecture/"&gt;MotherDuck 용어집&lt;/a&gt;). 발표에서 나온 &amp;ldquo;컨피규레이션 테이블만 채우면 소스 연결부터 gold 적재까지 자동화된다&amp;quot;는 설명도 이 구조를 기반으로 한다. 에이전트는 레이어 경계마다 규칙을 적용해 품질을 점진적으로 끌어올리는 역할을 맡는 셈이다.&lt;/p&gt;</description></item><item><title>2026-10-29 데이터 엔지니어링에 투입한 AI 에이전트: 수집·품질·운영 자동화</title><link>https://meetup.metacog.co.kr/posts/2026-10-29-ai-3/</link><pubDate>Thu, 29 Oct 2026 09:33:51 +0900</pubDate><guid>https://meetup.metacog.co.kr/posts/2026-10-29-ai-3/</guid><description>&lt;h2 id="-밋업-한눈에-보기"&gt;📋 밋업 한눈에 보기&lt;/h2&gt;
&lt;p&gt;발표자는 데이터 엔지니어링 전 과정에 AI 에이전트를 적용한 사례를 공유했다. configuration table만 입력하면 파이프라인을 자동으로 구성하는 수집 에이전트, primary key 위반 등 품질 문제를 자동으로 잡아 소비 계층에서 제외하는 거버넌스 에이전트, 수천 개 파이프라인의 네트워크·타임아웃 이슈를 스스로 감지하고 복구하는 운영 에이전트를 차례로 설명했다. 다음 단계로는 특정 레코드가 왜 대시보드에 반영되지 않았는지 레이어별로 추적해 원인을 짚어주는 lineage 기반 에이전트를 개발 중이라고 밝혔다. Q&amp;amp;A에서는 AI 에이전트 도입의 ROI를 어떻게 판단하는지에 대한 질문이 나왔고, 발표자는 모든 아이디어를 무분별하게 에이전트화하지 말고 비즈니스 케이스를 철저히 검증해야 한다고 답했다.&lt;/p&gt;</description></item></channel></rss>