📋 밋업 한눈에 보기
이 밋업에서는 QA 실무자들이 모여 AI가 단순 테스트 스크립트 생성을 넘어 QA 조직 전체를 어떻게 바꾸고 있는지 토론했다. 발표자는 Google을 비롯한 여러 기업이 한때 AI로 QA 인력을 줄였다가 결함 재현율과 고객 불만이 늘어나자 다시 QA를 채용하고 있는 시장 데이터를 소개했다. 이어 risk-based test 생성, Figma 기반 wireframe 사전 테스트, self-healing no-code 자동화 도구(XLQ, ContextQA), MCP를 통한 Jira·Figma 연동 등 shift-left 전략을 설명하고, 마지막으로 QA의 AI 투자를 활동량이 아닌 비즈니스 성과로 증명하는 ROI 계산법을 제시했다. 청중과는 MCP 보안 테스트, LLM 데이터 프라이버시 책임 소재, 마이크로서비스 여부에 따른 통합 테스트 필요성 등에 대해 활발한 질의응답이 이어졌다.
🔑 핵심 요점
- AI가 테스트 스크립트를 작성하는 것과 QA를 실제로 대체하는 것은 다르며, 발표자들은 human in the loop이 여전히 필수라고 강조했다.
- 2023년 이후 여러 기업이 AI로 QA 인력을 줄였지만, 결함 재현과 고객 불만이 늘면서 다시 QA 채용을 늘리는 추세가 나타났다.
- Figma와 Jira를 MCP로 연동하면 코드가 배포되기 전에도 와이어프레임만으로 테스트 케이스와 자동화 스크립트의 약 70%까지 미리 준비할 수 있다.
- XLQ, ContextQA 같은 no-code AI 테스트 도구는 self-healing 기능으로 UI 요소 위치가 바뀌어도 과거 실행 이력을 참고해 locator를 스스로 찾아내고 cosmetic 변경과 기능적 변경을 구분한다.
- 과거 결함·버그 패턴 데이터를 학습해 risk-based로 test case를 생성하면 무의미한 테스트(fluff)를 줄이고 실제 위험이 높은 영역에 집중할 수 있다.
- LLM에 보내는 데이터의 프라이버시·컴플라이언스 책임은 산업마다 다르며, 의료처럼 규제가 엄격한 산업에서는 QA가 FDA 감사 대응을 위한 traceability를 직접 책임져야 한다.
- AI 도입의 ROI는 생성된 테스트 개수 같은 활동 지표가 아니라 릴리즈 속도, 프로덕션 장애 감소, 컴플라이언스 이슈 감소 같은 비즈니스 성과 지표로 측정해야 경영진을 설득할 수 있다.
🛠 핵심 기술 쉽게 이해하기
Agentic QA (AI Agent)
단순히 명령받은 테스트 스크립트를 실행하는 것을 넘어, 역할(persona)과 가이드라인을 부여받아 스스로 판단하며 테스트를 수행하는 AI 에이전트 개념이다.
왜 필요한가 — 반복적인 스크립트 작성만으로는 QA를 실제로 진화시키지 못하며, 사람이 미처 생각하지 못한 조건 조합이나 장애 시나리오까지 자율적으로 탐색하기 위해 필요하다.
발표에서는 — 발표자는 AI 에이전트에게 ‘너는 지금부터 QA analyst다, 보안 이슈를 보라’ 같은 역할을 부여하는 방식과, 과거 버그·PR 이력을 학습해 risk-based test case를 스스로 생성하는 사례를 소개했다.
Model Context Protocol (MCP)
AI 에이전트가 Jira, Figma 같은 외부 도구의 데이터를 표준화된 방식으로 읽고 활용할 수 있게 해주는 연동 프로토콜이다.
왜 필요한가 — 테스트 계획을 세울 때 사용자 스토리(Jira)와 화면 디자인(Figma) 정보를 AI가 직접 이해하도록 통합하기 위해 사용한다.
발표에서는 — Jira MCP와 Figma MCP를 연결해 사용자 스토리와 화면 흐름을 AI가 파악하고, 이를 바탕으로 test space와 test case를 test management tool에 자동으로 publish하는 워크플로우로 설명됐다.
No-code AI 테스트 자동화 도구 (XLQ, ContextQA 등)
코드 작성 없이 자연어 문장만으로 테스트 스텝을 입력하면 AI가 웹/앱 UI 요소를 스스로 인식해 실행해주는 자동화 도구다. self-healing 기능으로 화면이 바뀌어도 locator를 자동으로 재탐색한다.
왜 필요한가 — 코딩 능력이 부족한 시니어 QA SME도 자동화를 만들고 유지보수할 수 있게 하며, UI 변경 때마다 스크립트가 깨지는 문제를 줄이기 위해 쓰인다.
발표에서는 — 로그인 버튼 위치가 바뀌어도 과거 실행 이력을 참고해 AI가 새 위치를 스스로 찾아내고, 단순 UI cosmetic 변경과 실제 기능적 변경을 구분해 리포트로 알려주는 self-healing 데모가 구체적으로 다뤄졌다.
Wireframe 기반 사전 테스트 (Figma 활용)
개발자가 코드를 작성하기 전, Figma 와이어프레임 화면 흐름만으로 테스트 케이스와 자동화 스크립트 초안을 미리 작성하는 기법이다.
왜 필요한가 — 코드가 배포될 때까지 기다리지 않고 테스트 설계·자동화를 최대한 앞당겨 shift-left를 실현하기 위해서다.
발표에서는 — AI가 Figma 화면 전환 로직을 읽어 locator 없이도 테스트 데이터만으로 스크립트 골격을 만들며, 이 방식으로 자동화의 약 70%를 코드 배포 전에 끝낼 수 있다고 소개됐다.
Enterprise LLM / 데이터 거버넌스
기업 전용 계약을 맺어 입력 데이터가 모델 학습에 쓰이지 않도록 격리된 dedicated LLM 인스턴스를 의미한다.
왜 필요한가 — 의료·금융처럼 규제가 엄격한 산업에서 민감 데이터 유출과 컴플라이언스 위반을 막기 위해 필요하다.
발표에서는 — 청중 질문에 답하며 산업별로 LLM 데이터 검증 책임이 QA, 개발자, 혹은 LLM 벤더 중 누구에게 있는지 다뤘고, 발표자의 의료 업계에서는 FDA 감사 대응을 위해 QA가 traceability 문서화를 직접 책임진다고 설명했다.
🧭 추구 방향과 흐름
- Shift-left QA — 테스트를 코드 배포 이후가 아니라 요구사항 정의·디자인 단계부터 시작하자는 방향이다. 발표에서는 Figma wireframe만으로 테스트를 사전 설계하고, QA가 기획 단계 미팅에 참여해 리스크를 미리 짚어야 한다고 강조했다.
- Reactive에서 Continuous & Intelligent Quality로 — 현재 76%의 기업이 여전히 ‘QA 환경에 배포된 뒤 결함을 찾는’ reactive 방식에 머물러 있지만, 발표자는 요구사항-설계-개발-테스트-운영 전 단계에 품질을 내재화하는 continuous quality로 나아가야 한다고 주장했다.
- Human-in-the-loop 필수 — AI가 생성한 테스트 케이스에는 여전히 fluff(불필요한 내용)가 많고, 개발자가 만든 코드를 같은 LLM으로 테스트하면 자기 검증의 함정에 빠질 수 있다는 지적이 나왔다. 따라서 사람이 최종 검토·승인하는 단계가 반드시 필요하다고 반복적으로 강조됐다.
- 비즈니스 성과 기반 ROI 측정 — 경영진과 이사회는 생성된 테스트 개수 같은 활동 지표가 아니라 릴리즈 속도, 프로덕션 장애 감소, 컴플라이언스 리스크 감소 같은 비즈니스 결과에만 관심이 있다는 점을 지적하며, QA 리더는 technical ROI와 business ROI를 구분해 보고해야 한다고 제안했다.
💬 Q&A 하이라이트
Q. Google이 AI로 QA를 줄였다가 다시 채용한다고 했는데, 실제로 몇 퍼센트나 다시 채용되고 있는가?
발표자는 정확한 수치 대신 최근 QA 시장 규모가 1년 새 310억 달러에서 327억 달러로 늘었다는 데이터를 근거로 들며, 다운사이징 이후 고객 만족도 저하와 재현된 버그 증가로 다시 QA가 필요해졌다고 설명했다.
Q. MCP 자체를 테스트 대상으로 삼는 것도 업계 트렌드인가?
애플리케이션이 MCP를 필요로 하는 서비스 산업이라면 MCP 자체를 테스트해야 하지만, 발표자의 회사는 API 기반 서비스라 MCP를 쓰지 않아 직접 테스트해본 적은 없으며 이미 관련 도구들이 이 유즈케이스를 다루고 있을 것이라고 답했다.
Q. LLM으로 보내는 데이터의 프라이버시·거버넌스 검증은 QA의 책임인가, 시스템 설계자의 책임인가?
산업마다 다르며, 발표자가 속한 의료 산업처럼 규제가 엄격한 곳에서는 FDA 감사 대응을 위해 QA가 V&V와 traceability를 직접 책임져야 하지만, 리테일 등에서는 엔터프라이즈 LLM 계약을 맺은 벤더가 책임지거나 개발자가 shift-left로 처리하기도 한다고 답했다.
Q. locator 없이 AI가 어떻게 어디를 클릭할지 아는가?
AI가 페이지를 로드할 때 화면의 모든 locator를 스스로 캡처하고, 자연어로 주어진 테스트 스텝(예: '아이디를 입력하고 로그인을 클릭')을 해석해 실행하며, 이전 실행 이력을 기억해 UI 요소 위치가 바뀌어도 self-healing으로 대응한다고 설명했다.
Q. 이 접근법은 애플리케이션이 마이크로서비스가 아니라는 가정이 필요한가?
그렇지 않으며, 마이크로서비스든 모놀리식이든 상관없이 기존 테스트 스위트와 버그 패턴 데이터를 기반으로 동작하고, SLA나 계약(contract) 변경이 있을 때만 별도의 통합 테스트가 필요하다고 답했다.
Q. 개발자도 AI로 코드를 개선하고 있는데, 릴리즈 속도 향상이나 rework 감소를 어떻게 QA만의 성과로 귀속시킬 수 있는가?
개발자는 AI로 요구사항에 맞춰 '만드는' 데 쓰지만 QA는 AI로 시스템을 '검증하고 깨뜨리는' 데 쓰는 것이므로 접근 자체가 다르며, 같은 LLM이 개발과 테스트를 모두 수행하면 자기 확증 편향이 생기기 때문에 실행 전 사람이 검토하는 human-in-the-loop 단계가 QA만의 차별화된 가치라고 답했다.
🚀 바로 활용하기
- 회귀 테스트 스위트 중 일부를 대상으로 no-code AI 테스트 도구의 self-healing locator 기능을 소규모로 파일럿해보기
- Figma·Jira를 MCP로 연동해 요구사항-디자인-테스트케이스를 잇는 워크플로우를 시범 구축해보기
- AI 도입 효과 보고 시 ‘생성된 테스트 개수’ 대신 릴리즈 속도, escaped defect 수, 프로덕션 장애 감소 같은 비즈니스 지표로 대시보드를 바꿔보기
- 사내에서 LLM에 테스트 데이터를 보낼 때 학습 제외(enterprise/dedicated instance) 계약 여부를 점검하고, 규제 산업이라면 QA가 traceability 문서화를 책임지는 프로세스를 정의해보기
🔗 참고 자료
- Model Context Protocol — 발표에서 소개된 Jira·Figma 연동 방식의 기반이 되는 MCP 표준 문서
- Figma — 와이어프레임 기반 사전 테스트 설계에 사용된 디자인 툴
- Jira (Atlassian) — 테스트 계획 수립 시 사용자 스토리를 가져오는 데 언급된 이슈 트래킹 도구
- Playwright — 발표자가 과거 웹·모바일 테스트를 별도 스위트로 관리하던 방식의 예로 언급한 자동화 프레임워크
- Anthropic (Claude) — 발표와 Q&A에서 개발자·QA가 코드 생성 및 테스트에 사용한다고 언급된 LLM 제공사