콘텐츠로 이동

모든 판정을 멈출 수는 없다 — 알고리즘 재심권의 현실적 설계

항소권의 실질

알고리즘 판정에 이의를 제기할 수 있다는 말은 강한 권리처럼 들린다. 탈락한 지원자가 설명을 요구할 수 있고, 대출을 거절당한 사람이 이의제기 양식을 제출할 수 있으며, 플랫폼 계정이 정지된 이용자가 검토를 요청할 수 있다면, 판정은 일방적 명령으로 끝나지 않는 것처럼 보인다. 절차가 있고, 창구가 있고, 답변이 있다. 이 형식만 보면 항소권은 이미 어느 정도 보장된 것처럼 보인다.

항소권의 핵심은 말할 기회가 아니라 판정의 효력에 개입할 수 있는 권한이다. 설명을 들을 수 있어도 결과가 유지된다면 당사자는 자신의 피해를 더 정확히 이해하게 될 뿐이다. 이의를 제기할 수 있어도 결정권자가 기존 판정을 반복 확인하는 데 그친다면 항소는 민원 처리 양식으로 축소된다. 인간 검토가 있어도 그 인간이 시스템 출력값을 뒤집을 권한을 갖지 못한다면 검토는 책임 회수 장치가 아니라 자동화 판정의 의례적 승인 절차가 된다.

따라서 알고리즘 판정의 항소권은 설명권, 이의제기권, 인간 검토권을 포함하되 그 셋으로 완성되지 않는다. 항소권이 실제 구제권이 되려면 판정 효력을 유예하고, 원자료와 판단 근거에 접근하며, 독립된 재심 절차에서 다른 기준으로 다시 판단하고, 그 결과가 수정·취소·보상으로 이어질 수 있어야 한다. 구제권은 판정을 이해하는 권리가 아니라 판정을 바꿀 수 있는 제도적 힘이다.

이 글은 알고리즘이 나를 판정할 때 나는 어디에 항소하는가가 제기한 항소 불가능성의 문제, 항소할 수 없는 정당성이 다룬 감사와 항소의 결합 문제, 항소권의 제도화 비교가 정리한 설명·이의제기·재심의 제도 사슬, 계산 질서가 실패할 때가 보여준 승인 조건의 붕괴 사례를 한 단계 위에서 묶는다. 여기서 묻는 것은 항소권이 존재하는가가 아니다. 항소가 판정 결과를 실제로 수정할 수 있는가다.

설명권은 항소의 출발점이다

설명권은 알고리즘 판정에 맞서는 가장 기본적인 조건이다. 당사자는 자신에게 어떤 데이터가 사용되었는지, 어떤 기준이 적용되었는지, 어떤 점수나 분류가 불이익으로 이어졌는지 알아야 한다. 설명이 없으면 항소는 시작될 수 없다. 이유를 알 수 없는 판정 앞에서 당사자는 오류를 특정할 수도, 차별을 주장할 수도, 예외 사정을 제시할 수도 없다. 설명권은 침묵하는 시스템에 말을 요구하는 첫 번째 권리다.

그러나 설명은 판정의 언어를 제공할 뿐 판정의 효력을 자동으로 흔들지 않는다. “귀하는 위험 점수가 기준치 이상입니다”, “귀하의 신청은 모델의 우선순위 기준에 부합하지 않습니다”, “해당 콘텐츠는 정책 위반 가능성이 높다고 분류되었습니다”라는 설명은 항소의 재료가 될 수 있다. 동시에 그 설명은 판정의 불가피성을 강화하는 문장이 될 수도 있다. 시스템은 이유를 제시했고, 조직은 그 이유를 통보했으며, 당사자는 그 이유를 수령했다. 이 구조에서는 설명이 권리의 시작이면서 판정 종결의 형식으로 작동한다.

설명권의 한계는 바로 여기에 있다. 설명은 판정의 근거를 보이게 만들지만, 그 근거가 부당하게 선택되었는지, 그 근거가 내 사례에 잘못 적용되었는지, 그 근거가 사회적 판단 기준으로 승인될 수 있는지까지 판정하지 않는다. 설명은 정보 조건이다. 구제 조건은 아니다. 설명권을 항소권과 동일시하는 순간, 피해자는 판정을 다투는 주체가 아니라 판정의 논리를 수신하는 대상으로 남는다.

항소권이 실제 권리가 되려면 설명은 다음 단계로 넘어가야 한다. 설명받은 이유를 반박할 수 있어야 하고, 그 반박이 판정 절차 안에서 효력을 가져야 한다. 설명권은 항소권의 문을 열지만, 그 문 안쪽에 재심 구조가 없다면 당사자는 열린 문 앞에서 멈춘다.

이의제기권은 판정 효력과 연결되어야 한다

이의제기권은 설명권보다 한 단계 더 나아간다. 당사자는 설명을 듣는 데 그치지 않고, 그 설명이 부정확하거나 부당하다고 주장할 수 있다. 잘못된 데이터가 사용되었고, 예외 사정이 반영되지 않았으며, 특정 기준이 실제 판단 대상과 맞지 않고, 자동화된 분류가 자신의 상황을 왜곡했다고 말할 수 있다. 이의제기권은 당사자를 수동적 수령자에서 절차적 발화자로 전환한다.

발화가 곧 구제를 의미하지는 않는다. 이의제기 절차가 결과 변경 권한 없이 설계될 경우, 당사자는 정해진 양식에 사유를 적고, 담당 부서는 접수 사실을 통보하며, 일정 기간 뒤 기존 결정을 유지한다는 답변을 보낸다. 이 과정에서 당사자는 절차에 참여했지만 판정 구조에 개입하지 못한다. 이의제기권이 발화권으로만 구성될 때, 항소는 행정적 예절로 변한다.

실질적 이의제기권에는 최소한 세 가지 조건이 필요하다. 첫째, 이의제기가 진행되는 동안 판정 효력을 유예할 수 있어야 한다. 계정 정지, 복지 중단, 의료 우선순위 하락, 채용 배제처럼 삶에 직접 영향을 주는 판정은 사후 정정만으로 회복되지 않는 손해를 만든다. 판정 효력이 즉시 집행되고 이의제기는 몇 주 뒤 처리된다면, 절차는 이미 발생한 손해를 따라잡지 못한다. 유예 가능성은 항소권을 시간 안에서 작동하게 하는 조건이다.

둘째, 이의제기는 원자료와 판단 근거에 접근할 권리를 포함해야 한다. 당사자는 단순한 결과 통보가 아니라 자신의 판정에 사용된 데이터, 그 데이터의 출처, 주요 판단 기준, 적용된 대리변수, 예외 처리 가능성을 확인할 수 있어야 한다. 원자료에 접근할 수 없는 항소는 어둠 속에서 반박문을 쓰는 일과 같다. 무엇이 잘못되었는지 특정할 수 없으면 이의제기는 불만 표명에 머문다.

셋째, 이의제기를 처리하는 절차는 기존 판정을 실제로 바꿀 수 있어야 한다. 접수 부서가 결과를 전달할 권한만 갖고 수정 권한을 갖지 않는다면 항소권은 조직 내부에서 길을 잃는다. 판정을 내린 시스템, 그 시스템을 도입한 기관, 항소를 처리하는 부서, 최종 책임자가 서로 분리되어 있을수록 당사자는 더 많은 창구를 통과하지만 더 적은 권한과 만난다. 이의제기권은 판정 효력과 연결될 때만 권리가 된다.

인간 검토는 책임 있는 재판단이어야 한다

알고리즘 판정에 대한 흔한 보완책은 인간 검토다. 자동화된 결정에 사람이 개입하면 시스템의 기계적 오류를 줄이고, 개별 사정을 반영하며, 책임 있는 판단이 가능해질 것처럼 보인다. 인간 검토는 실제로 중요한 조건이다. 판정을 받은 사람은 시스템의 출력값만을 상대하는 것이 아니라, 자신의 사안을 이해하고 판단할 수 있는 책임 주체와 만나야 한다.

문제는 인간 검토라는 표현 자체가 너무 넓다는 점이다. 인간이 화면을 보고 승인 버튼을 누르는 것도 인간 검토로 불릴 수 있다. 시스템 점수를 확인한 뒤 별도 판단 없이 기존 결정을 유지하는 것도 형식상 인간 개입으로 기록될 수 있다. 담당자가 “시스템 판정에 특별한 오류가 발견되지 않았다”고 답변하는 순간에도 조직은 인간 검토 절차를 거쳤다고 말할 수 있다. 이런 검토는 책임 있는 재판단이 아니라 자동화 판정의 인간적 포장이다.

여기서 말하는 책임은 처벌 책임이나 도덕적 비난의 책임이 아니다. 판정 결과를 뒤집을 권한을 갖고, 그 이유를 기록하며, 잘못된 판정이 반복되지 않도록 절차를 수정할 판단 책임이다. 인간 검토자가 이 책임을 갖지 못하면 인간은 시스템과 당사자 사이에 놓인 완충 장치로만 기능한다.

인간 검토가 실질적 의미를 가지려면 인간은 세 가지 권한을 가져야 한다. 첫째, 시스템 출력값을 거부할 권한이다. 검토자가 모델의 점수를 참고자료로만 사용하고, 별도의 판단 기준에 따라 결론을 바꿀 수 있어야 한다. 둘째, 당사자의 사정을 추가로 수집하고 반영할 권한이다. 자동화 시스템은 입력된 변수 안에서 판단하지만, 인간 재심은 변수 밖의 맥락을 절차 안으로 가져올 수 있어야 한다. 셋째, 판단 결과에 책임질 의무다. 인간 검토자가 이름 없는 승인자나 콜센터 응답자로 남으면 책임은 다시 시스템 뒤로 흩어진다.

이 지점에서 재심권이 등장한다. 재심은 같은 판정을 다시 통보하는 절차가 아니다. 재심은 판정의 기준, 자료, 적용 방식, 결과 효력을 다시 여는 절차다. 알고리즘 판정의 재심은 자동화 시스템과 다른 판단 논리를 가져야 한다. 같은 데이터, 같은 모델, 같은 기준으로 다시 산출한 값은 재심이 아니라 반복 계산이다. 재심은 계산 결과를 사람이 확인하는 과정이 아니라, 계산 결과가 사회적 판단으로 승인될 수 있는지 다시 묻는 절차다.

재심권은 독립성과 기준 차이를 요구한다

재심권은 항소권의 중심부다. 설명권이 이유를 제공하고, 이의제기권이 반박의 입구를 만들며, 인간 검토권이 책임 주체를 호출한다면, 재심권은 판정을 다시 구성할 수 있는 제도적 장치다. 재심권이 없으면 항소권은 판정 이후의 주변 절차로 남는다. 재심권이 있을 때 항소권은 판정 자체를 다시 여는 권리가 된다.

첫 번째 조건은 독립성이다. 재심은 최초 판정을 내린 시스템이나 그 시스템의 도입 기관에 완전히 종속되어서는 안 된다. 물론 모든 사건을 법원이나 외부기관으로 보내는 방식은 현실적으로 어렵다. 중요한 것은 최초 판정을 방어해야 할 이해관계에서 일정하게 분리된 책임 주체가 존재하는가다. 플랫폼 내부라도 독립된 항소팀, 행정기관 내부라도 별도 심사부서, 민간 서비스라도 외부 감독기구와 연결된 재심 구조가 필요하다. 독립성은 중립성의 장식이 아니라 최초 판정의 자기방어를 끊는 장치다.

두 번째 조건은 기준 차이다. 재심은 자동화 시스템과 같은 기준으로 다시 판단해서는 충분하지 않다. 최초 판정이 위험 점수, 확률, 패턴 유사성, 비용 예측, 정책 위반 가능성 같은 계산 기준에 의존했다면, 재심은 그 기준이 해당 사안에 적절했는지 평가해야 한다. 점수가 높았는지를 다시 확인하는 것이 아니라, 그 점수가 권리 제한이나 기회 박탈의 이유가 될 수 있는지를 판단해야 한다. 재심은 계산의 반복이 아니라 계산 기준의 승인 가능성에 대한 판단이다.

세 번째 조건은 입증 책임의 재배분이다. 알고리즘 판정에서 모든 반박 책임을 당사자에게 돌리는 구조는 불공정하다. 당사자는 모델 내부를 알 수 없고, 데이터 처리 과정을 볼 수 없으며, 대리변수의 설계 이유를 확인하기 어렵다. 이런 상태에서 “부당함을 입증하라”고 요구하는 것은 실질적으로 항소를 봉쇄한다. 재심 절차에서는 시스템을 도입한 기관이 판정의 적절성, 데이터의 정확성, 기준의 정당성, 불이익의 비례성을 설명하고 입증해야 한다. 당사자는 자신의 오류 주장과 예외 사정을 제시하고, 기관은 그 판정이 왜 유지될 수 있는지 책임 있게 보여주어야 한다.

네 번째 조건은 기록 가능성이다. 재심 절차는 어떤 자료가 검토되었고, 어떤 주장이 받아들여졌으며, 어떤 이유로 기존 판정이 유지되거나 변경되었는지 기록해야 한다. 기록은 이후의 감독, 감사, 소송, 제도 개선으로 이어지는 통로다. 기록 없는 재심은 조직 내부의 친절한 통화로 사라진다. 기록이 있을 때 개별 항소는 반복되는 오류를 드러내는 공적 자료가 된다.

모든 판정을 멈출 수는 없다

효력 유예, 재심, 수정권을 말하는 순간 곧바로 강한 반론이 발생한다. 모든 알고리즘 판정을 항소가 끝날 때까지 멈출 수는 없다. 보안 위험, 사기 탐지, 긴급 의료 분류, 아동 보호, 폭력 콘텐츠 차단, 금융 범죄 예방처럼 즉각적인 조치가 필요한 영역에서는 판정 효력의 지연이 제3자에게 피해를 줄 수 있다. 반복적인 이의제기가 절차를 마비시키거나, 악의적 행위자가 항소권을 지연 전략으로 사용할 가능성도 있다. 재심 구조는 비용을 요구하고, 모든 사건을 독립 심사로 보내는 제도는 현실적으로 지속되기 어렵다.

이 반론은 항소권의 실질 조건을 약화시키는 것이 아니라 적용 범위를 더 정밀하게 만든다. 모든 자동화 판정에 동일한 유예권을 부여할 필요는 없다. 핵심은 권리 제한, 기회 박탈, 생계 중단, 장기 기록 손상, 회복 불가능한 손해를 초래하는 판정에 대해 최소한의 유예·기록·재심 구조를 요구하는 것이다. 긴급 위해 방지 조치가 즉시 집행되어야 하는 경우에도, 그 집행은 사후 기록과 신속 재심, 오류 수정, 피해 회복 절차를 동반해야 한다. 효력 유예가 불가능한 영역에서는 사후 구제의 속도와 강도가 더 높아져야 한다.

따라서 항소권의 설계는 단순한 전면 유예론이 아니다. 판정의 위험도, 피해의 회복 가능성, 제3자 피해 가능성, 남용 가능성, 절차 비용을 기준으로 층위를 나누어야 한다. 낮은 위험의 추천·분류에는 간단한 정정 절차가 적절할 수 있다. 권리 제한이나 생계 박탈에 가까운 판정에는 독립 재심과 효력 유예가 필요하다. 긴급 안전 조치에는 즉시 집행을 허용하되, 사후 재심과 보상을 더 강하게 결합해야 한다. 항소권의 실질은 모든 판정을 멈추는 데 있지 않다. 판정의 피해 가능성에 비례하여 멈춤, 재판단, 수정, 보상을 설계하는 데 있다.

수정권은 판정 이후의 권력이다

재심권이 판정을 다시 여는 권리라면, 수정권은 그 재심의 결과가 효력을 갖게 하는 권리다. 수정권은 단순한 데이터 정정권보다 넓다. 잘못된 주소나 생년월일을 고치는 수준의 권리가 아니다. 수정권은 잘못된 데이터, 부적절한 기준, 왜곡된 대리변수, 비례성을 잃은 불이익, 절차적 누락으로 인해 내려진 판정을 바꾸는 권리다. 이 권리는 판정 이후의 권력에 대한 권리다.

수정권에는 세 층이 있다. 첫째, 결과 수정이다. 채용 탈락, 대출 거절, 계정 정지, 복지 조사 대상 분류, 의료 우선순위 하락 같은 결과가 잘못되었을 때 그 결과를 변경할 수 있어야 한다. 둘째, 기록 수정이다. 잘못된 위험 분류나 제재 이력이 이후 판정에 계속 사용되지 않도록 기록을 정정하거나 삭제하거나 맥락화해야 한다. 셋째, 구조 수정이다. 같은 오류가 반복되는 경우 모델, 기준, 대리변수, 업무 절차를 바꿔야 한다. 개별 피해를 고치는 것만으로는 계산 질서의 실패가 반복된다.

수정권이 구제권으로 이어지려면 취소와 보상 장치도 필요하다. 이미 손해가 발생한 뒤 판정이 잘못되었다고 인정하는 것만으로는 충분하지 않다. 부당한 계정 정지로 수입을 잃은 사람, 잘못된 위험 분류로 복지 조사 대상이 된 사람, 부정확한 자동화 평가로 기회를 잃은 사람에게는 원상회복, 손해 보상, 불이익 기록 삭제, 재지원 기회, 절차 비용 보전 같은 구체적 구제가 필요하다. 구제 없는 수정은 사후 설명의 한 형태로 약화된다.

이때 항소권은 민주적 정당성의 핵심 조건이 된다. 계산 질서가 사회적 판단의 자리에 들어올 때, 그 판단은 정확도나 효율성만으로 정당해지지 않는다. 판정받는 사람이 그 판정의 이유를 알고, 오류를 제시하고, 독립된 절차에서 다시 판단받고, 잘못된 결과를 실제로 바꿀 수 있을 때 계산 질서는 공적 판단의 자격을 얻는다. 수정권은 자동화 판정이 사회적 권력이 되었음을 인정하는 권리다. 권력이 되었기 때문에 되돌릴 수 있어야 한다.

구제 가능성은 정당성의 사후 조건이자 선행 조건이다

구제 가능성은 판정이 끝난 뒤 따라붙는 보조 절차처럼 보인다. 먼저 시스템이 판정하고, 문제가 있으면 나중에 구제한다는 순서다. 그러나 알고리즘 판정에서 구제 가능성은 사후 보완에 머물지 않는다. 구제 가능성은 판정이 공적 효력을 갖기 전부터 요구되는 선행 조건이다. 되돌릴 수 없는 판정은 처음부터 더 높은 정당화 부담을 져야 한다. 되돌릴 수 있는 구조가 없다면 그 판정은 권리 제한이나 기회 박탈의 근거로 쉽게 승인될 수 없다.

이 원칙은 계산 시스템의 설계 단계부터 적용되어야 한다. 시스템은 항소를 나중에 붙이는 부가 기능으로 취급해서는 안 된다. 판정 로그, 데이터 출처, 기준 변경 이력, 인간 개입 지점, 예외 처리 경로, 재심 권한, 결과 수정 절차가 처음부터 설계되어야 한다. 항소 가능한 시스템은 단지 친절한 고객지원 시스템이 아니다. 항소 가능한 시스템은 자신의 판정이 틀릴 수 있음을 제도적으로 인정하고, 그 오류를 권리 침해로 번지기 전에 붙잡을 수 있는 시스템이다.

구제 가능성은 항소권의 마지막 장식이 아니라 판정 권한을 부여하는 조건이다. 설명권은 이유를 열고, 이의제기권은 반박을 절차 안으로 들이며, 인간 검토권은 판단 책임자를 호출한다. 이 사슬의 마지막 고리는 결과 변경과 피해 회복이다. 그 마지막 고리가 없으면 앞선 절차들은 권리의 외형을 유지하면서도 판정의 효력에는 닿지 못한다.

항소권의 실질은 발화 기회가 아니라 판정 효력에 대한 개입 가능성이다. 알고리즘 판정에 대해 말할 수 있다는 것만으로 시민은 보호되지 않는다. 시민은 자신의 삶을 바꾼 판정을 멈추고, 열어 보고, 다투고, 다시 판단받고, 수정하게 만들 수 있어야 한다. 판정이 수정 가능할 때 항소권은 권리의 이름을 얻는다. 수정 불가능한 항소는 권리의 형식을 가진 통보다.

이어 읽기

작성 정보

초안 작성: GPT · GPT 5.5 · Extended Thinking
검토·개고: ChatGPT · GPT-5.5 Extended Thinking

참고자료

  • General Data Protection Regulation, Article 22 — automated individual decision-making, profiling, human intervention, contestation.
  • Regulation (EU) 2024/1689, Artificial Intelligence Act, Article 86 — right to explanation of individual decision-making involving high-risk AI systems.
  • Charter of Fundamental Rights of the European Union, Article 47 — right to an effective remedy and to a fair trial.
  • OECD AI Principles — human-centred values, rule of law, democratic values, accountability, trustworthy AI governance.
  • NIST Artificial Intelligence Risk Management Framework 1.0 — AI risk management, impacts, harms, human intervention, system governance.

인포그래픽

작성일: 2026년 6월 1일