플레이키 테스트 신호 예산 관리

플레이키 테스트는 가끔 실패하는 테스트가 아닙니다. 더 정확히는 팀이 CI 신호를 믿지 못하게 만드는 테스트입니다. 한두 번은 재실행으로 넘길 수 있지만, 반복되면 실패 알림 전체가 배경 소음이 됩니다. 결국 진짜 회귀도 “또 테스트 문제겠지”라는 말 속에 묻힙니다.

재시도는 치료가 아니라 완충재다

CI에서 테스트를 자동 재시도하는 것은 나쁘지 않습니다. 네트워크 순간 오류나 브라우저 타이밍 문제를 흡수할 수 있습니다. 하지만 재시도 성공을 최종 성공으로만 기록하면 불안정성이 사라진 것처럼 보입니다. 실제로는 신호 품질이 낮아진 상태입니다.

좋은 시스템은 다음을 따로 기록합니다.

재시도는 빌드를 살릴 수 있지만, 테스트 신뢰도는 별도로 관리해야 합니다.

모든 테스트가 100% 안정적이면 좋겠지만 현실적인 비용이 있습니다. 그래서 팀 단위로 허용 가능한 플레이키 예산을 정하는 방식이 유용합니다. 예를 들어 핵심 회귀 테스트는 첫 실행 성공률 99% 이상, E2E 전체 묶음은 97% 이상처럼 기준을 나눌 수 있습니다.

예산을 넘은 테스트는 자동으로 격리하거나 소유자에게 이슈를 생성합니다. 중요한 점은 실패한 사람을 탓하는 것이 아니라, 불안정한 신호가 전체 파이프라인을 오염시키지 않게 하는 것입니다.

플레이키 테스트를 바로 삭제하면 잠재적인 버그 신호도 사라집니다. 대신 격리 큐로 옮기고, 릴리스 게이트에는 포함하지 않되 별도 대시보드에서 계속 실행하는 방식이 낫습니다. 이렇게 하면 개발 흐름을 막지 않으면서도 원인을 추적할 수 있습니다.

테스트의 가치는 실패할 때 드러납니다. 실패 신호를 믿을 수 있어야 팀은 빠르게 움직일 수 있고, 플레이키 예산 관리는 그 믿음을 유지하는 현실적인 방법입니다.