📋 밋업 한눈에 보기
Test Tribe 커뮤니티 밋업에서 Caesars의 automation architect인 Srikanth가 AI를 활용한 Android 모바일 테스트 자동화를 주제로 발표했다. React Native, Flutter, Native Android 등 빌드 방식에 따라 UI 요소를 찾는 방법이 완전히 다르다는 점을 설명하고, 이를 해결하기 위해 app-map.md, conventions.md 같은 컨텍스트 파일과 AI CLI 에이전트를 결합한 자체 WebdriverIO 기반 프레임워크를 공개했다. 실제로 자연어 프롬프트로 로그인 테스트 케이스를 생성하고 BrowserStack 실기기에서 실행하는 라이브 데모도 진행했다.
🔑 핵심 요점
- 모바일 앱은 React Native, Flutter, Native Android 등 빌드 방식에 따라 UI 요소를 식별하는 locator 전략이 완전히 다르다.
- AI로 테스트 케이스를 만들려면 단순 프롬프트만으로는 부족하고, app-map.md·conventions.md 같은 컨텍스트 파일을 먼저 갖춰야 안정적인 테스트가 나온다.
- 발표자는 WebdriverIO 기반 자체 프레임워크에 AI CLI 에이전트를 결합해 자연어 프롬프트로 로그인 테스트를 생성하는 과정을 라이브로 시연했다.
- 생성된 테스트는 npm run validate로 검증 후 BrowserStack 실기기 클라우드에서 실행되며, 로컬 Android 에뮬레이터도 대안으로 쓸 수 있다.
- 유지보수 부담을 줄이기 위해 locator 변경을 감지해 리포트를 만드는 self-healing 스크립트 아이디어가 Q&A에서 제시됐다.
- app-map 파일은 앱 복잡도에 따라 화면별로 분리할 수도, 작은 앱이라면 한 파일로 합쳐도 된다는 유연한 접근이 강조됐다.
- 데모 중 발표자의 API 키가 화면에 노출돼 발표 후 즉시 교체하기로 했다는 주의 사항도 언급됐다.
🛠 핵심 기술 쉽게 이해하기
WebdriverIO
Node.js 기반의 오픈소스 브라우저/모바일 UI 자동화 테스트 프레임워크로, Appium과 연동해 모바일 앱을 제어할 수 있다.
왜 필요한가 — 플랫폼마다 다른 UI 요소 식별 방식을 표준화된 스펙 파일과 API로 다루기 위해 사용한다.
발표에서는 — 발표자가 공개한 AI 연동 자동화 프레임워크의 기반 엔진으로 쓰였고, AI가 생성한 테스트 코드가 WebdriverIO 스펙 파일 형태로 저장됐다.
AI CLI coding agent
터미널에서 동작하며 코드를 수정할 때마다 검사하고 변경 사항을 Git에 커밋까지 해주는 AI 코딩 에이전트 도구다.
왜 필요한가 — 자연어 프롬프트만으로 테스트 코드를 생성하고, 생성된 코드를 자동으로 검증하기 위해 사용한다.
발표에서는 — 발표자는 Claude, Gemini, OpenAI 등 여러 모델 중 선택해 쓸 수 있다고 언급했고, 라이브 데모에서 로그인 테스트를 자연어로 요청해 spec 파일을 생성하고 npm run validate로 검증하는 과정을 보여줬다.
BrowserStack
실제 스마트폰과 기기를 클라우드에서 원격으로 빌려 테스트를 실행할 수 있는 서비스다.
왜 필요한가 — 로컬 에뮬레이터 대신 실제 기기 환경에서 신뢰성 있게 테스트를 돌리기 위해 사용한다.
발표에서는 — 데모에서 AI가 생성한 로그인 테스트를 BrowserStack 실기기에서 실행했고, 이 밋업의 스폰서/파트너로도 소개됐다.
React Native
JavaScript로 작성하지만 실제 네이티브 UI 컴포넌트에 연결(bridge)되는 모바일 앱 프레임워크다.
왜 필요한가 — 하나의 코드베이스로 iOS/Android 앱을 함께 만들기 위해 쓴다.
발표에서는 — 발표자는 React Native 앱의 요소는 testID나 accessibility ID로 식별한다고 설명하며 locator 전략의 한 예로 다뤘다.
Flutter
네이티브 UI 컴포넌트를 전혀 쓰지 않고 자체 렌더링 엔진으로 모든 픽셀을 직접 그리는 Google의 UI 프레임워크다.
왜 필요한가 — 여러 플랫폼에서 동일한 UI와 성능을 빠르게 구현하기 위해 사용한다.
발표에서는 — 발표자는 Flutter 앱은 semantic label이나 widget tree 기반으로 요소를 찾아야 해 다른 자동화 방식이 필요하다고 설명했고, 본인은 Flutter 자동화 경험이 많지 않다고 밝혔다.
Native Android (Jetpack)
Jetpack Compose나 XML 기반 뷰로 만들어진 순수 Android 네이티브 앱이다.
왜 필요한가 — 플랫폼 고유 기능과 성능을 최대한 활용하기 위해 사용한다.
발표에서는 — 발표자는 네이티브 Android 앱의 버튼은 resource ID, content description, text 등으로 식별한다고 설명하며 다른 두 방식과 비교했다.
🧭 추구 방향과 흐름
- AI 테스트 자동화를 위한 컨텍스트 엔지니어링 — AI에게 단순 프롬프트만 주는 게 아니라 app-map.md, conventions.md 같은 구조화된 컨텍스트 파일을 먼저 제공해야 안정적인 테스트 케이스가 생성된다는 원칙이 발표 전체를 관통했다. 새 화면이 추가될 때마다 이 컨텍스트 파일을 갱신해야 한다는 점도 함께 강조됐다.
- 자가 치유(self-healing) 기반 유지보수 — 테스트 유지보수는 항상 어려운 과제라는 질문에 대해, conventions 안에 자가 치유 로직과 검증 규칙을 넣고 야간 실행 결과를 분석해 locator 변경 여부를 리포트로 알려주는 방향이 제시됐다.
- 커뮤니티 기반 오픈소스 공유 — 발표자는 본인이 만든 프레임워크와 Chrome 확장 도구들을 GitHub와 npm에 공개했으며, 청중에게 다운로드해서 직접 써보고 피드백을 달라고 요청했다.
💬 Q&A 하이라이트
Q. app-map.md 파일은 어떻게 만드는가?
AI CLI에 앱 정보를 제공하면 앱을 분석해 locator를 자동으로 찾아내고 app-map 파일을 생성해준다.
Q. 왜 일반적인 Page Object 대신 별도의 app-map 파일이 필요한가?
앱이 복잡해지고 화면이 많아질수록 관심사를 분리하는 게 관리하기 쉬우며, 작은 앱이라면 한 파일에 모두 담아도 무방하다고 답했다.
Q. conventions나 guardrail 파일을 어떻게 지속적으로 가치 있게 유지하는가?
유지보수는 항상 어려운 문제이며, conventions 안에 자가 치유 로직과 단위 테스트 검증 규칙을 넣고, 야간 테스트 실행에서 실패한 테스트를 분석해 locator 변경 여부를 리포트하는 별도 스크립트를 둘 수 있다고 답했다.
🚀 바로 활용하기
- WebdriverIO와 Appium 공식 문서를 참고해 모바일 자동화 기본 설정을 익혀보기
- BrowserStack 체험 플랜으로 실기기에서 샘플 테스트를 실행해보기
- 자신의 앱에 app-map.md, conventions.md 같은 컨텍스트 파일을 만들어 AI 코딩 에이전트에 테스트 생성을 요청해보기
- 야간 테스트 실행 결과를 분석해 locator 변경을 감지하는 self-healing 리포트 스크립트를 설계해보기
🔗 참고 자료
- WebdriverIO — 발표자의 자동화 프레임워크가 기반으로 사용한 모바일/브라우저 자동화 프레임워크
- Appium — WebdriverIO가 모바일 앱 제어를 위해 연동하는 자동화 드라이버
- BrowserStack — 데모에서 실기기 테스트 실행에 사용한 클라우드 디바이스 서비스이자 밋업 스폰서
- React Native — 발표에서 다룬 세 가지 모바일 앱 빌드 방식 중 하나
- Flutter — 자체 렌더링 엔진으로 UI를 그리는 방식으로 locator 전략이 다르다고 설명된 프레임워크
- Android Developers — 네이티브 Android(Jetpack) 앱의 locator 전략 설명과 관련된 공식 문서