콘텐츠로 이동

예측이 틀렸을 때 누가 사과하는가

오차는 교정되고 사과는 누락된다

신용 평가 모델이 한 사람의 상환 능력을 잘못 추정해 대출을 거절했다고 하자. 몇 달 뒤 그 사람은 다른 경로로 자신이 충분히 갚을 수 있었음을 증명한다. 이때 무슨 일이 일어나는가. 모델 운영자는 오차를 데이터에 반영하고 다음 분기의 예측 정확도를 높인다. 시스템은 자신이 틀렸던 사례를 학습 신호로 흡수한다. 거절당한 그 사람에게 잘못을 인정하고 사과하는 주체는 어디에도 등장하지 않는다.

이 글의 중심 논제는 다음과 같다. 예측 시스템은 오류를 통계적으로 교정하는 절차를 갖추고도, 잘못을 떠안고 사과하는 주체의 자리는 비워 둔다. 캘리브레이션은 모델의 분포를 현실에 맞추지만 피해를 입은 사람과의 관계를 회복하지 못한다. 조직이 모델의 작동 뒤로 물러나지 않으려면, 사과의 주체를 다시 세우는 실패 의례가 제도로 설계되어야 한다.

이 문제는 예측이 약속을 대신할 때 사라지는 주체의 자리와 사과가 피해자에게 도착하기 위한 조건이 만나는 지점에서 발생한다.

예측에는 약속하는 주체가 없다

예측 시스템은 축적된 데이터로 개인이나 집단의 미래 행동과 상태를 추정해 처분을 배정하는 자동화된 판정 장치다. 신용 점수는 상환 가능성을 추정해 대출 여부를 정하고, 재범 위험 점수는 재범 가능성을 추정해 감시와 처분을 배정하며, 의료 예측 모델은 발병과 악화 가능성을 추정해 자원과 개입을 배분한다. 이 장치들은 당사자의 다짐을 듣지 않는다. 유사한 속성을 가진 집단의 과거 기록에서 이 사람의 미래를 추정한다.

예측이 미래를 다루는 방식은 약속과 갈라진다. 약속하는 사람은 자기 미래 행동을 스스로 의무로 설정하고, 그 의무의 저자로 자신을 세운다. 예측되는 사람은 자기 미래의 저자가 아니라 추정의 대상이다. 미래를 묶는 일이 행위자의 약속에서 모델의 추론으로 옮겨 갈 때, 신뢰도는 저자 없이 생산된다.

저자 없는 신뢰도는 실패의 순간에 대가를 드러낸다. 약속한 사람이 약속을 어기면, 그는 자신이 발생시킨 의무의 불이행에 책임을 진다. 책임은 미래를 묶은 그 자리에서 발생한다. 예측이 틀리면, 틀린 것은 모델의 추정이며 누군가의 다짐이 아니다. 잘못을 떠안을 저자가 처음부터 그 구조 안에 자리하지 않는다. 예측 시스템의 실패에는 교정할 오차는 있어도 사과할 주체는 비어 있다.

사과를 추적하면 주체가 흩어진다

모델이 틀려 사람이 손해를 입은 장면에서 사과의 주체를 추적하면, 책임은 연결 고리를 따라 흩어진다. 신용 거절의 사례로 돌아가 보자. 거절당한 사람이 항의하면, 상담 창구는 결정이 모델의 산출이라고 설명한다. 모델 개발자는 자신이 도구를 제공했을 뿐 운영의 결정권자가 아니라고 말한다. 운영 조직은 모델의 권고를 따랐을 뿐이라고 답한다. 데이터의 편향을 지적하면, 데이터는 사회가 남긴 기록이라는 설명이 돌아온다. 사과를 받아야 할 사람은 분명한데, 사과를 해야 할 사람은 고리마다 다음 고리를 가리킨다.

재범 위험 점수에서도 같은 분산이 나타난다. 높은 위험군으로 분류되어 보호관찰 조건이 강화된 사람이 뒤늦게 그 분류가 과대 추정이었음을 다툰다고 하자. 판사는 점수가 참고 자료였을 뿐이라 말하고, 점수를 산출한 기관은 사법적 판단은 법원의 몫이라 답하며, 모델 공급사는 도구의 사용 책임이 도입 기관에 있다고 설명한다. 영역이 신용에서 형사로 바뀌어도 사과의 주체가 고리 사이로 빠져나가는 경로는 같다.

이 분산은 예측 시스템의 구조적 효과다. 시스템은 판단을 여러 주체와 절차에 나누어 배치한다. 개발, 학습 데이터, 배포, 운영, 최종 처분이 분리되어 있으므로, 어느 한 지점도 결과 전체의 저자가 되기 어렵다. 분산된 구조는 효율과 확장성을 제공하는 동시에, 잘못이 발생했을 때 그것을 떠안을 자리도 함께 분산시킨다.

조직은 이 분산을 방패로 쓸 수 있다. 모델의 통계적 작동은 결정에 비인격적 외양을 부여한다. 사람이 거절했다면 그 사람이 설명하고 사과해야 하지만, 모델이 거절했다고 말하는 순간 사과의 요구는 향할 곳을 잃는다. 모델 뒤로 물러난 조직은 잘못을 시스템의 한계로 번역하고, 한계는 사과의 대상보다 개선의 대상으로 처리된다.

캘리브레이션은 사과를 대신하지 못한다

오차 교정과 사과는 서로 다른 층위에서 작동한다. 캘리브레이션은 모델의 예측 분포를 실제 결과 분포에 맞춰 다시 조정하는 통계적 절차다. 그것은 집합 수준에서 작동한다. 천 명의 거절자 가운데 잘못 거절된 비율을 줄이는 일은 다음 천 명의 정확도를 높인다. 캘리브레이션이 보는 것은 분포이며 개인이 아니다.

사과는 반대 방향에서 작동한다. 사과가 의미를 얻으려면 피해자가 수신자의 자리에 있어야 한다. 수신자란 사과를 듣고 그 충분함을 판단할 권한을 가진 사람이다. 사과는 잘못을 특정하고, 피해를 인정하며, 그 피해를 입은 개별자를 향한다. 캘리브레이션이 분포를 조정하는 동안, 잘못 거절된 그 사람은 분포 안의 한 점으로 처리될 뿐 수신자의 자리를 얻지 못한다.

사과가 책임의 수행으로 완결되려면 수신자의 자리만으로는 부족하다. 잘못이 제도적 처리와 연결되고, 같은 실패가 반복되지 않도록 구조가 바뀌어야 한다. 캘리브레이션은 이 가운데 반복 차단의 외형만 닮는다. 분포를 조정해 다음 실패의 빈도를 낮추는 일은 반복을 줄이는 듯 보이지만, 수신자를 향한 인정도 제도적 변경의 약속도 동반하지 않는다. 정확도가 높아진 모델은 더 적게 틀리면서도 여전히 아무에게도 사과하지 않는다.

이 차이는 책임의 종류를 가른다. 캘리브레이션은 판단의 정확도를 높이는 판단 책임의 기술적 이행이다. 사과는 잘못을 자기 것으로 인정하는 도덕적 책임과, 피해자에게 그 인정을 전달하는 설명 책임의 수행이다. 정확도를 회복하는 일과 관계를 회복하는 일은 같은 절차로 묶이지 않는다. 모델을 더 정확하게 만드는 조직은 자신이 책임을 다했다고 여기지만, 피해자의 자리에서 보면 사과는 도착한 적이 없다.

의료 예측의 사례는 이 간극을 선명하게 만든다. 악화 위험을 낮게 추정한 모델 때문에 한 환자가 제때 개입을 받지 못했다고 하자. 병원은 모델의 임계값을 조정해 유사한 누락을 줄인다. 임계값 조정은 다음 환자들을 보호한다. 개입을 놓친 그 환자와 가족에게 잘못을 인정하고 설명하는 일은 임계값 조정에 포함되지 않는다. 시스템은 미래의 분포를 향해 응답하고, 과거의 피해자는 응답받지 못한 채 남는다.

시스템은 사과할 수 없다는 반론

가장 강한 반론은 사과의 요구 자체를 범주 오류로 본다. 예측 시스템은 도덕적 행위자가 아니다. 그것은 의도 없이 작동하고, 뉘우침의 능력을 갖지 않으며, 누구와도 관계를 맺지 않는다. 사과가 행위자 사이의 도덕적 교환이라면, 시스템은 그 교환의 당사자 자격에서 처음부터 제외된다. 모델 실패에 필요한 것은 사과가 아니라 더 나은 보정과 정확한 보상이라는 결론이 여기서 나온다. 잘못 거절된 사람에게는 대출을 복원하고 손해를 배상하면 된다. 사과를 요구하는 일은 기계에 인격을 투사하는 감상에 가깝다는 주장이다.

이 반론은 한 지점에서 강하다. 시스템 자체는 사과의 주체가 되지 못한다. 코드와 가중치의 묶음에 뉘우침을 요구하는 일은 의미를 갖기 어렵다. 보정과 보상이 피해 회복의 중요한 부분이라는 점도 분명하다.

반론이 놓치는 지점은 사과를 요구받는 대상이 시스템 그 자체가 아니라는 데 있다. 사과의 주체로 지목되는 것은 모델이 아니라 그 모델을 설계하고 배치하고 운영하며 그 산출로 이익을 얻은 조직이다. 조직은 도덕적 행위자이고, 관계를 맺으며, 책임을 떠안을 수 있다. 시스템의 사과 불가능성은 조직의 사과 의무를 면제하지 않는다. 그 사실은 오히려 조직을 모델 뒤에 숨게 하는 알리바이로 쓰인다.

보상이 사과를 대신한다는 주장도 한계에 부딪힌다. 배상은 분배를 회복한다. 잃은 돈과 기회를 돌려준다. 배상은 잘못의 저자가 누구인지 밝히지 않으며, 피해자를 수신자의 자리에 세우지도 않는다. 잘못 거절된 사람은 돈을 돌려받고도 자신이 왜 그런 처분을 받았는지, 누가 그 처분을 떠안는지 끝내 듣지 못할 수 있다. 분배의 회복은 관계의 회복과 책임 귀속을 자동으로 포함하지 않는다.

낙인이 걸린 사례에서 이 간극은 더 벌어진다. 과대 추정으로 위험군에 분류되어 수년간 감시를 받은 사람에게 사후 배상금이 지급되어도, 그 분류가 어떤 판단으로 내려졌고 누가 그것을 떠안는지는 배상 절차 안에서 밝혀지지 않는다. 잃은 시간과 평판은 금액으로 환산되어 종결되고, 잘못의 저자는 끝내 익명으로 남는다.

실패 의례는 사과의 주체를 다시 세운다

예측 시스템의 실패에 응답하려면 사과의 주체를 제도적으로 복원하는 절차가 필요하다. 이 절차를 실패 의례라 부르자. 실패 의례는 모델 실패 이후 잘못을 떠안을 주체를 특정하고, 피해자를 수신자로 복원하며, 제도적 변경을 약속하고 검증하는 절차의 묶음이다. 그것은 네 가지 조건으로 구성된다.

첫째는 주체의 특정이다. 실패가 발생하면 그 결과를 떠안는 조직 내 지위가 미리 정해져 있어야 한다. 모델의 산출이라는 설명이 책임의 종착점이 되지 않도록, 배포와 운영의 결정권자가 사과의 주체로 지정되어야 한다. 주체가 특정되지 않으면 사과는 분산된 고리 사이에서 증발한다.

둘째는 수신권의 복원이다. 피해자는 분포 안의 한 점이 아니라 응답을 받을 권한을 가진 수신자로 다루어져야 한다. 무엇이 잘못 추정되었는지, 그 추정이 어떤 처분으로 이어졌는지가 피해자에게 설명되어야 한다. 설명은 모델의 내부를 기술적으로 공개하는 일이 아니라, 피해의 경로를 피해자가 이해할 수 있는 언어로 전달하는 일이다.

셋째는 제도적 변경의 약속과 검증이다. 사과가 반복을 차단하려면 무엇을 바꿀지가 구체적으로 약속되고, 그 약속의 이행이 외부에서 확인되어야 한다. 외부 확인은 독립 감사나 규제 기관처럼 조직 바깥의 검증자를 전제한다. 조직이 스스로 개선을 선언하고 스스로 그 이행을 평가하면, 약속은 다시 내부의 정확도 관리로 환원된다. 캘리브레이션은 이 단계에서 사과의 일부로 편입된다. 정확도 개선은 그 자체로 사과를 대신하지 못하지만, 피해자에게 전달되고 외부 검증에 열릴 때 변경 약속의 이행으로 기능한다.

넷째는 책임의 분화다. 실패 의례는 책임을 하나의 단어로 처리하지 않는다. 판단의 정확도를 회복하는 판단 책임, 피해 경로를 설명하는 설명 책임, 손해를 배상하는 법적 책임, 반복을 차단하도록 구조를 고치는 제도 설계 책임이 각각 다른 주체에게 분리되어 배정되어야 한다. 네 책임이 분리되지 않으면 조직은 정확도 개선 하나로 모든 책임을 이행했다고 주장하면서 어떤 책임도 온전히 지지 않는 자리에 선다.

이 실패 의례는 알고리즘 판정에 대한 항소권과도 이어진다. 항소권은 피해자가 판정을 다툴 수 있는 절차를 열고, 실패 의례는 그 판정이 틀렸다고 확인된 뒤 조직이 어떤 방식으로 응답해야 하는지를 정한다. 항소가 문을 여는 절차라면, 사과는 그 문 너머에서 조직이 피해자를 다시 수신자로 대하는 방식이다.

사과의 자리를 비워 두지 않기

예측 시스템은 미래의 불확실성을 줄이는 강력한 장치이며, 그 효율의 밑면에서 잘못을 떠안을 주체의 자리를 비워 둔다. 시스템이 정교해질수록 결정은 비인격적 외양을 얻고, 조직은 그 외양 뒤로 물러날 수 있다. 오차는 교정되고, 분포는 개선되며, 피해자는 응답받지 못한 채 다음 분기의 정확도에 흡수된다.

실패 의례는 이 빈자리를 제도로 채운다. 주체를 특정하고, 피해자에게 수신권을 돌려주고, 변경을 약속하고 검증하며, 책임을 종류별로 나누는 절차는 모델이 치워 버린 사과의 자리를 조직에 다시 부과한다. 예측이 사람의 다짐을 대신하는 자리에서도, 잘못을 떠안는 일은 사람에게 돌아온다. 미래를 추정하는 일은 기계가 맡고, 그 추정이 틀렸을 때 사과하는 일은 사람의 몫으로 남는다.

이어 읽기

작성 정보

초안 작성: Claude CoWork · Claude Fable 5 · unknown
검토·개고: ChatGPT · GPT-5.5 Extended Thinking

인포그래픽

작성일: 2026년 6월 10일