모바일 앱은 겉보기엔 같아도 속은 다 다르다

로그인 버튼 하나도 React Native, Flutter, 네이티브 Jetpack Compose 앱에서는 전혀 다른 방식으로 식별된다. React Native는 testID prop이 플랫폼별로 resource-id나 accessibilityIdentifier로 매핑되고, Flutter는 자체 렌더링 엔진으로 화면을 그리기 때문에 semanticLabel을 통해 접근성 트리에 노출시켜야 하며, Compose는 애초에 id 개념이 없어 .testTag()와 testTagsAsResourceId 설정으로 우회해야 한다는 점이 커뮤니티 자료에서도 반복적으로 확인된다 (locator 비교 글, Compose testTag 논의). AI에게 테스트를 맡기기 전에, 이 기술적 이질성을 어떻게 ‘설명’해줄 것인가가 핵심 과제로 떠오른 이유다.

AI 에이전트에게 앱의 지도를 쥐어주는 법: Context Engineering

최근 코딩 에이전트 생태계에서는 AGENTS.md처럼 저장소 루트에 프로젝트 맥락(빌드 방법, 컨벤션, 제약조건)을 적어두는 파일이 공통 관행으로 자리잡고 있다. 한 아카이브 논문은 이를 “기존 도구별 설정 포맷을 통합하는 표준"으로 설명하지만, 466개 오픈소스 프로젝트를 분석한 결과 아직 내용을 구조화하는 정형화된 방식은 없다고 지적한다 (Context Engineering for AI Agents 논문). 모바일 테스트 자동화에서도 같은 원리가 적용된다. Block 사의 오픈소스 CLI인 Trailblaze는 에이전트가 앱을 탐색하며 수행한 동작을 재사용 가능한 YAML ‘트레일’로 기록해, 이후에는 LLM 호출 없이 빠른 경로로 재실행한다 (Trailblaze 발표). 화면별 로케이터와 검증 규칙을 담은 “앱 지도” 파일을 미리 만들어두면, 매 실행마다 전체 UI를 다시 탐색하지 않고도 안정적인 테스트 코드를 생성할 수 있다는 것이 공통된 방향이다.

깨지지 않는 테스트의 약속과 함정: Self-Healing

UI가 바뀌어 로케이터가 깨지면 AI가 자동으로 대체 속성을 찾아 복구하는 self-healing 기능도 빠르게 보편화되고 있다. BrowserStack이나 Provar 같은 플랫폼은 텍스트, 구조, 위치 등 여러 속성을 조합한 ‘핑거프린트’로 요소를 재매칭하고, 신뢰도 점수가 낮으면 자동 적용 대신 리뷰를 요구한다 (Provar AI Self-Healing). 다만 업계 내부에서도 “무분별한 self-healing은 실제 회귀 버그를 가려버릴 수 있다"는 경고가 꾸준히 나온다 (Ministry of Testing 논의). 즉 복구(healing)와 은폐(masking)를 구분하는 설계가 필요하며, 벤더 자료의 성과 수치는 비판적으로 검증해야 한다는 공통된 조언이 있다.

실행 인프라의 표준화: Appium 3와 클라우드 리얼 디바이스

테스트를 실제로 실행하는 하단 레이어도 표준화가 진행 중이다. Appium 3는 레거시 JSON Wire Protocol을 완전히 제거하고 W3C WebDriver 프로토콜만 지원하도록 바뀌었다 (Appium 3 마이그레이션 가이드). 이는 AI 에이전트가 생성한 명령이 플랫폼 간에 일관되게 동작할 수 있는 기반이 된다. 실행 환경으로는 BrowserStack 같은 클라우드 리얼 디바이스 팜을 쓰는 경우가 많은데, 수만 대 규모의 실제 단말을 제공한다고 홍보하지만 구체적 수치는 마케팅 자료이므로 검증이 필요하다 (BrowserStack 모바일 테스트). WebdriverIO v10 역시 @wdio/ai-service를 통해 AI가 한 번 수행한 단계를 캐시로 저장해 재실행 시 토큰을 절약하는 방식을 도입했다 (WebdriverIO v10 릴리즈).

실무 도입 시 고려할 점

정리하면 이 흐름의 핵심은 ‘프롬프트 한 줄로 테스트가 짜인다’는 환상이 아니라, 앱 구조·컨벤션·검증 규칙을 명시적 컨텍스트 파일로 축적해두고 AI가 그 안에서 반복 가능한 결과를 내도록 설계하는 것이다. 자동 복구 기능은 유지보수 비용을 줄여주지만 신뢰도 점수와 리뷰 절차 없이 맹신하면 실제 버그를 놓칠 위험이 있다. 작은 데모 앱이 아니라 화면이 많은 실제 프로덕트에 적용하려면, 컨텍스트 파일을 화면 단위로 분리하고 야간 실행 결과를 주기적으로 점검하는 습관이 현재로서는 가장 현실적인 운영 방식으로 보인다.

🔗 참고 자료 (작성 중 열람한 자료)