AI는 실패한 도구를 몇 번까지 다시 시도해야 할까?

그림에서 무엇을 볼까요?

독립 성공 가능성 40퍼센트인 도구를 최대 세 번 시도할 때 한 번 이상 성공할 가능성 78.4퍼센트와 중단 지점을 나타낸 그림

가상의 검색 도구가 한 번 시도할 때 40% 확률로 성공한다고 하자. 각 시도가 독립이라면 최대 세 번 안에 한 번 이상 성공할 가능성은 1−0.6³=78.4%다. 그러나 세 번 모두 실행하면 호출 비용과 서버 부하도 최대 세 배가 된다.

Google SRE의 과부하 처리 사례는 요청별 최대 세 번 시도와 클라이언트별 재시도 비율 제한을 사용한다. 광범위한 과부하가 보이면 재시도하지 않고 오류를 호출자에게 전달하며, 여러 계층이 동시에 재시도해 폭발적으로 요청이 늘어나는 상황을 막는다.