모바일 시뮬레이터에서 LLM에 눈과 손을 부여하기

Tapflow는 기존 모바일 시뮬레이터 relay API를 MCP 서버로 감싸 13개의 LLM 제어 도구로 만들었다.

MCP 호환 비전 모델은 이제 시뮬레이터에서 스크린샷을 보고, 탭·스와이프·타이핑을 수행하며, 앱 설치와 실행도 할 수 있다.

이 구현은 모델 추론을 쉽게 하도록 스크린샷을 픽셀 좌표로 제공하고, 터치 입력은 내부에서 정규화하며, 일부 동작은 WebSocket으로 비동기 처리한다.

이 사례는 새 제어 계층을 만들지 않고도 기존 API만으로 LLM 기반 모바일 UI 테스트와 자동화를 구현할 수 있음을 보여준다.