알고리즘이 나를 판정할 때, 나는 어디에 항소하는가¶
판정의 순간¶
신용점수 알고리즘이 대출을 거절한다. 채용 시스템이 이력서를 읽고 면접 단계로 넘기지 않는다. 플랫폼의 추천 모델이 콘텐츠를 목록에서 지운다. 복지 시스템의 위험 분류 알고리즘이 수급 자격에 의문 부호를 붙인다. 이 판정들에는 공통된 특징이 있다. 판정이 내려졌지만 판정한 자가 보이지 않는다. 담당자를 찾아가면 "시스템이 그렇게 처리했습니다"라는 답을 받는다. 알고리즘이 나를 판정할 때, 나는 어디에 항소하는가.
이 물음에 대해 지금 가장 광범하게 유통되는 답변은 투명성이다. 설명 가능한 AI(Explainable AI)를 요구하고, 알고리즘 감사 제도를 도입하며, 결정 과정에 대한 설명 권리를 법제화하면 된다고 한다. 이 글은 그 답변이 놓치는 것을 추적한다. 투명성 요구는 알고리즘 판정이 만들어낸 권력 관계의 구조를 건드리지 못한다. 항소 불가능성은 기술의 미성숙에서 비롯된 결함이 아니라, 알고리즘 통치성이 작동하는 방식 자체의 귀결이다.
투명성이라는 응답¶
투명성 요구는 실질적인 논거 위에 서 있다. 알고리즘 판정의 핵심 문제 중 하나는 불투명성이다. 채용에서 탈락했을 때 어떤 기준이 적용되었는지 알 수 없고, 신용점수가 낮게 산정된 이유가 해명되지 않는다. 이 불투명성은 편향을 은폐하고, 오류를 수정하기 어렵게 만들며, 이의 제기의 경로 자체를 막는다. 따라서 투명성을 높이면 최소한 무엇이 잘못되었는지 파악할 수 있고, 이를 근거로 문제를 제기할 수 있다는 논리는 타당해 보인다.
제도적 차원에서 이 논리는 실질적인 형태를 갖추고 있다. EU 일반정보보호규정(GDPR) 제15조 제1항 (h)호는 자동화 결정이 이루어지는 경우 그 논리와 의미, 예상 결과에 관한 의미 있는 정보를 제공받을 권리를 규정한다. 제22조는 자동화된 결정만으로 개인에게 중대한 영향을 미치는 것을 원칙적으로 금지하며, 예외적으로 허용되는 경우에도 인간 개입·의견 표명·결정 다툼 절차를 보장하도록 요구한다. EU 인공지능법(AI Act) 제86조는 고위험 AI 시스템 출력에 근거한 일정한 결정에 대해 당사자가 명확하고 의미 있는 설명을 요청할 수 있도록 별도로 규정한다. 이 법은 2024년 8월 발효되었으나, 고위험 AI 시스템 관련 조항의 전면 적용은 단계적으로 진행 중이다.
GDPR 제22조 제3항이 이미 인간 개입과 결정 다툼을 명시하고 있다는 점에서, 설명권이 항소 가능성과 이미 결합되어 있다는 반론이 가능하다. 법 조문의 층위에서 이 반론은 유효하다. 조문이 존재한다는 것은 권리의 법적 기초가 있다는 뜻이다. 그러나 조문의 존재와 그 실질적 작동은 다른 문제다. 현실에서 GDPR 제22조의 권리는 조직 내 재심사 권한의 불명확성, 알고리즘 시스템의 기술적 복잡성, 책임 행위자의 분산으로 인해 형식적 통보에 그치는 경우가 많다. 설명권을 법제화하는 것은 항소 절차를 만드는 것이 아니라, 항소 절차를 위한 최소한의 정보 조건을 만드는 것이다. 이 글은 그 조건이 실질적인 권리로 전환되지 않는 이유를 추적한다.
설명은 권력을 바꾸지 않는다¶
투명성 논리의 첫 번째 균열은 설명과 이의 제기 사이의 간극에서 나타난다. 알고리즘이 왜 나를 탈락시켰는지 설명해준다고 가정해 보자. "귀하의 이력서에서 직무 관련 키워드 밀도가 기준치 이하였으며, 지원자 풀 상위 20% 기준을 충족하지 못했습니다." 이 설명은 무엇을 가능하게 하는가. 왜 그 기준이 적용되어야 하는지, 그 기준이 실제 직무 역량을 측정하는지, 내 사례에 그 기준이 공정하게 적용되었는지를 다툴 수 있는가. 대부분의 경우 그럴 수 없다. 설명은 판정의 근거를 공개하지만, 판정 자체를 번복하거나 재검토하는 절차를 자동으로 수반하지 않는다.
두 번째 균열은 책임 소재의 분산에서 온다. 알고리즘 시스템은 단일한 판정자가 없다. 데이터를 수집한 기업, 모델을 설계한 팀, 학습에 사용된 데이터의 원래 출처, 시스템을 도입한 조직이 각각 존재한다. 판정의 결과에 누가 책임을 지는가. 알고리즘이 불공정한 결과를 냈을 때 어떤 행위자가 그 결과를 번복할 권한을 갖는가. 투명성은 이 책임의 사슬을 가시화할 수 있지만, 그 사슬이 어디서 끊겨 있는지까지 드러내지 못한다. 더 근본적으로, 책임의 사슬이 가시화되더라도 각 행위자가 서로에게 책임을 미루는 구조는 해소되지 않는다.
세 번째 균열은 설명 자체가 새로운 권력 효과를 만들 수 있다는 점이다. 기준이 공개되면 지원자들은 그 기준에 맞춰 이력서를 최적화한다. 알고리즘이 요구하는 형식을 습득하고, 요구하는 키워드를 배치하며, 요구하는 패턴에 자신을 맞춘다. 이 과정에서 투명성은 저항의 도구가 되는 것이 아니라 적응의 명령으로 기능한다. 공개된 기준은 그 기준에 부합해야 한다는 압력을 정당화하고, 부합하지 못한 탈락에 대해 이의를 제기할 도덕적 근거를 약화시킨다. 기준을 알고서도 충족하지 못했으니, 탈락은 당연한 것이 된다.
통치성의 기술적 완성¶
이 지점에서 푸코(Michel Foucault)의 통치성(gouvernementalité) 개념이 알고리즘 판정의 구조를 이해하는 데 유효한 틀이 된다. 통치성이란 권력이 외부에서 강제력으로 작동하는 것이 아니라, 주체 스스로의 행동 방식을 내면에서 조형하는 통치 기술을 가리킨다. 개인을 복종시키는 것이 아니라, 개인이 스스로 바람직한 방향으로 행동하도록 조건을 설계하는 것이다.
알고리즘 시스템은 이 통치 기술을 기술적으로 구현한다. 알고리즘은 개인의 행동 데이터를 수집하고, 그 데이터로 개인을 분류하며, 분류 결과가 다시 개인의 기회와 접근을 결정한다. 개인은 더 나은 분류를 받기 위해 행동을 조정한다. 신용점수를 높이기 위해 소비 패턴을 바꾸고, 채용 알고리즘의 기준에 맞게 이력서를 수정하며, 플랫폼의 추천 알고리즘이 선호하는 방식으로 콘텐츠를 생산한다. 이 과정에서 강제는 없다. 개인은 자발적으로 행동한다. 그러나 그 자발성은 알고리즘이 설계한 유인 구조 안에서 작동한다.
이 구조에서 항소는 어떤 의미를 갖는가. 전통적인 행정 판정에서 항소는 특정한 대상을 향한다. 담당 공무원의 결정에 이의를 제기하고, 상급 기관에 재심사를 요청하며, 최종적으로 법원의 판단을 구한다. 이 과정에서 판정받는 자는 권리 주체로 인정된다. 자신의 사안을 주장하고, 증거를 제시하며, 판정의 기준이 자신에게 공정하게 적용되었는지를 다툴 자격이 있다. 알고리즘 통치성 아래에서 이 구조는 해체된다. 이의를 제기할 구체적 행위자가 사라지고, 판정의 기준은 시스템 안에 내재화되며, 결정에 이의를 제기하는 행위 자체가 시스템 안에서 처리되거나 시스템 밖에서 무력화된다.
항소 불가능성의 진단¶
여기서 항소는 단순한 설명 청구와 구별된다. 항소란 판정 기준의 적합성, 그 적용의 공정성, 결과의 번복 가능성을 다투는 절차적 권한이다. 설명을 받는 것과 그 설명에 근거해 결과를 바꿀 수 있는 것은 서로 다른 종류의 권리다. 이 구분이 중요한 이유는, 법제가 제공하는 것이 전자인 경우 후자는 여전히 공백으로 남기 때문이다.
항소 불가능성은 기술적 결함이 수정되면 해소될 현상이 아니다. 그것은 알고리즘 통치성이 권력 관계를 배치하는 방식의 구조적 귀결이다.
알고리즘 판정은 개인을 데이터 점으로 다룬다. 판정받는 자는 자신의 특수한 맥락, 예외적 상황, 언어화되지 않는 역량을 가진 존재가 아니라 변수들의 묶음으로 처리된다. 항소는 그 처리의 대상이 단순한 데이터 묶음이 아니라 권리 주체임을 주장하는 행위다. 알고리즘 시스템은 이 주장을 처리할 인터페이스를 구조적으로 갖지 않는다. 이의 제기 창구가 있어도 그 창구는 대부분 같은 알고리즘을 통해 재처리되거나, 사람이 개입하더라도 알고리즘의 판정을 번복할 권한을 갖지 못한다.
투명성 요구가 실질적으로 작동하기 위해서는, 설명이 항소의 조건이 아니라 항소 자체의 가능성이 먼저 제도적으로 확보되어야 한다. 설명을 요청할 권리를 법제화하는 것과, 알고리즘 판정에 대해 권리 주체로서 이의를 제기하고 그 이의가 실질적 결과를 만들어낼 수 있는 절차를 확보하는 것은 다른 문제다. 지금 제도 논의는 전자를 강조하면서 후자를 생략하는 경향이 있다.
알고리즘 통치성의 병리는 판정의 효율이 아니라 판정의 관계에 있다. 알고리즘 판정은 판정하는 자와 판정받는 자 사이의 관계를 제거한다. 남는 것은 기준과 결과뿐이다. 이 구조 안에서 항소는 형식적으로 존재하지만 실질적으로 작동하지 않는다. 판정받는 자에게 돌려주어야 할 것은, 알고리즘 판정이 끝나는 지점을 결정하는 권리다.
작성 정보¶
초안 작성: Claude · Claude Sonnet 4.6 · Low Adaptive Thinking
검토·개고: ChatGPT · GPT-5.5 Extended Thinking
참고자료¶
- European Parliament and Council. Regulation (EU) 2016/679 (General Data Protection Regulation). Art. 15(1)(h); Art. 22.
- European Parliament and Council. Regulation (EU) 2024/1689 (EU Artificial Intelligence Act). Art. 86.
- Foucault, Michel. Security, Territory, Population: Lectures at the Collège de France 1977–1978. Translated by Graham Burchell. Palgrave Macmillan, 2007.
인포그래픽¶
작성일: 2026년 5월 29일