밋업에서 터진 진짜 질문
오스틴의 한 밋업(ACM 챕터 주최)에서 참가자들은 쉬는 시간에 이런 불만을 털어놓았다. “MCP도 agentic도 언급하지 않는 AI 발표는 더 이상 신뢰하기 어렵다.” 반대로 발표자 Paradha Sahu는 코딩 에이전트를 실제 프로덕션에 올려본 팀들의 데이터를 공유하며 전혀 다른 결론을 내놓았다. 에이전트가 실패하는 원인은 ‘추론 능력 부족’이 아니라 ‘인프라가 버티지 못하는 것’이라는 주장이다. 이 글은 두 축 — MCP로 대표되는 에이전트 표준화, 그리고 에이전트 전용 인프라/신뢰성 — 을 리서치로 검증한다.
MCP, 에이전트가 도구를 쓰는 공통 언어
Model Context Protocol(MCP)은 Anthropic이 공개한 오픈 프로토콜로, AI 애플리케이션이 파일 시스템·DB·GitHub 같은 외부 도구에 접근하는 방식을 표준화한다. 공식 MCP FAQ는 이를 “AI를 위한 USB-C"에 비유하며, MCP 이전에는 도구마다 커스텀 커넥터를 만들어야 했던 M×N 문제를 M+N으로 줄였다고 설명한다. 밋업 참가자들이 “MCP를 모르면 agentic을 논할 자격이 없다"고 느낀 이유도 여기에 있다 — MCP는 더 이상 선택이 아니라 에이전트 생태계의 기본 배선이 되어가고 있다.
속도는 폭발했지만, 그만큼 인프라가 흔들린다
Anthropic이 공개한 내부 지표에 따르면 Claude Code 도입 이후 엔지니어 1인당 일일 머지 PR 수가 67% 증가했고(gu-log 정리), SemiAnalysis 추정으로는 Claude Code가 작성한 커밋이 공개 GitHub 커밋의 약 4%를 차지하며 한 달 만에 두 배로 늘었다(officechai 보도). 발표자가 언급한 “PR 수가 몇 달 만에 10배 뛰었다"는 체감도 같은 맥락이다. 하지만 이 속도를 받아낼 인프라는 따로 준비되지 않았다. Datadog의 State of AI Engineering 2026 보고서는 프로덕션 AI 요청의 약 5%가 실패하며, 그중 약 60%가 레이트 리밋·GPU 스로틀링 같은 용량 한계 때문이라고 밝혔다. CDOTrends의 분석도 “모델의 능력이 아니라 용량이 위기의 본질"이라고 못 박는다.
벤치마크가 못 보는 것: SWE-bench와 HydraBench
업계가 쓰는 대표 벤치마크 SWE-bench는 작은 Python 버그 수정 500개로 구성돼 있고, 단일 턴 패치 생성만 평가한다. Epoch AI의 분석은 데이터 오염 위험이 높고 스캐폴드 의존도가 모델 자체 성능만큼 점수에 영향을 준다고 지적하며, Runloop의 리뷰도 같은 한계를 짚는다. 즉 현재 벤치마크는 “에이전트가 생각할 수 있는가"만 재고, “크래시·시크릿 유출·예산 초과 상황에서 인프라가 버티는가"는 재지 않는다. 발표자가 소개한 오픈소스 프로젝트 OpenHydra/HydraBench는 바로 이 공백을 겨냥한다. HydraBench 프로젝트 페이지는 크래시 복구(25%)와 시크릿 봉쇄(25%)에 가장 높은 가중치를 두고, 23개 시나리오로 프로세스 강제 종료, 프롬프트 인젝션을 통한 시크릿 탈취 시도 등을 테스트한다.
실전 조언: AgentOps를 먼저 준비하라
Gartner는 과도한 비용과 불명확한 ROI로 2027년까지 agentic AI 프로젝트의 40% 이상이 취소될 것으로 전망했다(관련 보도). 2025 DORA 보고서도 AI가 처리량은 높이지만 안정적 딜리버리 관행이 뒷받침되지 않으면 불안정성을 키운다고 경고한다(adtmag 요약). 결론은 분명하다. 에이전트를 프로덕션에 올리기 전에 재시도·크레덴셜 회전·서드파티 장애에 대한 폴백을 먼저 테스트하고, MCP 같은 표준 커넥터로 도구 호출을 통일하며, SWE-bench식 ‘지능 평가’가 아니라 HydraBench식 ‘인프라 생존 평가’를 별도로 거쳐야 한다. 에이전트 시대의 신뢰성은 모델이 아니라 그 아래 배관에서 결정된다.
🔗 참고 자료 (작성 중 열람한 자료)
- Anthropic - Model Context Protocol (MCP) 공식 문서 — MCP의 정의와 Claude 제품군 내 통합 방식을 설명하는 1차 자료
- Model Context Protocol FAQ — MCP를 ‘AI를 위한 USB-C’로 비유하며 M×N 문제를 M+N으로 줄인다는 공식 설명
- Anthropic 내부 기여도 지표 정리 (gu-log) — Claude Code 도입 후 엔지니어당 일일 머지 PR 67% 증가라는 수치의 근거
- 4% Of GitHub Commits Are Now Made By Claude Code (officechai, SemiAnalysis 인용) — 코딩 에이전트의 폭발적 생산 속도 증가를 뒷받침하는 수치
- Datadog State of AI Engineering Report 2026 보도자료 — 프로덕션 AI 요청 실패율 5%, 그중 60%가 용량 한계라는 핵심 통계의 출처
- Capacity, Not Capability: AI’s Production Crisis Has Arrived (CDOTrends) — 에이전트 실패가 모델 능력이 아닌 인프라 용량 문제라는 주장을 보강
- What Skills Does SWE-bench Verified Evaluate? (Epoch AI) — SWE-bench의 좁은 범위, 데이터 오염, 스캐폴드 의존성 등 한계 분석
- SWE-bench Deep Dive (Runloop) — SWE-bench가 단일 턴 평가에 그친다는 한계를 보강 설명
- HydraBench 프로젝트 페이지 — 밋업에서 언급된 Open Hydra 벤치마크의 실체(크래시 복구·시크릿 봉쇄 등 23개 시나리오)를 확인
- Over 40% of Agentic AI Projects Will Be Scrapped by 2027 (Gartner 인용 보도) — 비용·ROI 불확실성으로 agentic AI 프로젝트 취소율 전망의 근거
- 2025 DORA State of AI-assisted Software Development Report — AI가 처리량은 높이지만 딜리버리 관행 부재 시 불안정성을 키운다는 공식 보고서