Skip to content

fix(ops): 점검이 할 일 없음이라 답하면 그 작업 유닛의 실패 상태를 치운다 — 고친 Silver 일곱 레인이 하루 넘게 실패로 남았다 (ADR-0445 §5) - #1182

Merged
w1kch9812-cmd merged 1 commit into
mainfrom
w1kch9812-cmd/w31-check-clears-stale-failed
Nov 8, 2026
Merged

w1kch9812-cmd merged 1 commit into
mainfrom
w1kch9812-cmd/w31-check-clears-stale-failed

Conversation

@w1kch9812-cmd

Copy link
Copy Markdown
Contributor

왜

W31 실측(2026-11-08 11:07Z, systemctl --failed): foundation-silver-refresh@ 일곱 인스턴스(land-characteristic, land-forest-ledger, land-individual-price, land-right-registration, land-transfer-history, land-use-plan, building-register-unit-areas)가 11-07 07:00Z 부터 실패로 남아 있다.

무엇

  • start-scheduled-job.sh: 점검이 성공하고 foundation-job-check unchanged 라 답한 경로(이미 그 작업의 turn 으로 기록하는 자리, ADR-0305)에서 작업 서비스가 is-failed 면 sudo -n systemctl reset-failed <작업 서비스>. 저널에 cleared the failed state of …. 점검이 할 일을 찾았거나(would_change), 실패했으면 그대로 둔다.
  • foundation-release.sh timers: 스케줄러 sudoers 에 점검을 가진 켜진 작업의 서비스마다 reset-failed 한 줄(지금 21 줄, 계산).
  • 런북 deploy-alerts.md 에 한 문단.

같은 결정 위에 있다: Kubernetes Job 컨트롤러/Argo 처럼 "상태는 최신 조정 결과" — 마지막 조정이 할 일 없음이면 오류 조건을 내린다. 새 메커니즘 없이 기존 진입점(ADR-0122)·기존 sudoers 생성기를 넓혔다.

검증

  • orchestration/tests/test_start_scheduled_job.py 37 개 통과(리눅스, ai-server 임시 디렉터리, 끝나고 지움). 새 시험 둘: unchanged → reset-failed, would_change·실패한 점검 → 안 함.
  • sudoers 생성기를 현재 jobs.v1.json 에 돌려 21 줄 확인.

배포 뒤

다음 07:00Z 점검이 일곱을 치운다(배포만으로는 안 치움 — 점검의 답이 근거). 확인: systemctl --failed | grep silver-refresh@ 이 비고 저널에 cleared the failed state.

위험: 점검이 틀리게 unchanged 라 답하면 실패를 가린다. 점검은 이미 그 답으로 실행을 건너뛰므로, 가려지는 것은 이미 건너뛰어지는 실행의 옛 실패뿐이다.

🤖 Generated with Claude Code

https://claude.ai/code/session_01KWa1gDvFLoc5VxXFtYtGma

…넘게 실패로 남았다 (ADR-0445 §5)

2026-11-08 실측: foundation-silver-refresh@ 일곱 인스턴스가 11-07 07:00Z 에 실패했다. 점검이 읽지 못해(여섯은
parquet gzip 미지원, building-register-unit-areas 는 소스 객체 없음) 답이 없으니 실행이 시작돼 같은 이유로 실패했다.
#1129(09:12Z)가 읽게 고친 뒤 매일 점검은 `already_loaded`(Silver 가 최신 릴리스를 이미 담음)라 답해 실행이
건너뛰어지고, 실패 상태를 치울 실행은 오지 않았다.

점검이 unchanged 라 답한 성공 경로에서 작업 서비스가 failed 면 reset-failed 한다. 점검이 할 일을 찾았거나
실패했으면 그대로 둔다. 스케줄러 sudoers 에 점검을 가진 켜진 작업의 서비스마다 reset-failed 한 줄을 더한다(21 줄).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01KWa1gDvFLoc5VxXFtYtGma
@w1kch9812-cmd
w1kch9812-cmd marked this pull request as ready for review November 8, 2026 11:25
@w1kch9812-cmd
w1kch9812-cmd added this pull request to the merge queue Nov 8, 2026
Merged via the queue into main with commit f5d0fdb Nov 8, 2026
49 checks passed
@w1kch9812-cmd
w1kch9812-cmd deleted the w1kch9812-cmd/w31-check-clears-stale-failed branch November 8, 2026 11:33
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant