닫힌 판단의 권력 — 「선출되지 않은 코드의 독재」에 대한 응답

알고리즘 통치의 민주주의적 위험은 판단 기준과 책임 경로가 시민의 다툼 밖으로 빠져나가는 순간 발생한다. 「선출되지 않은 코드의 독재」는 이 위험을 가장 격렬한 언어로 포착한다. 그 글은 효율성 숭배가 공적 판단을 밀어내고, 기술 엘리트가 코드의 객관성 뒤에 권력을 숨기며, 자동화된 결정이 책임을 증발시킨다고 진단한다. 이 진단은 정치철학적 힘을 갖는다. 민주주의는 영향받는 시민이 판단 기준을 추적하고, 결과를 다투고, 책임의 주소를 특정할 수 있을 때 유지된다. 원문의 급진성은 이 조건이 무너지는 지점을 정확히 겨냥한다. 그 급진성을 끝까지 살리기 위해서는 비판의 표적을 더 정밀하게 고정해야 한다.

자동화 비판은 민주주의의 방어 본능에서 나온다

원문이 겨냥한 핵심은 통치 권한의 은폐다. 복지 심사, 위험 예측, 신용 평가, 치안 배치처럼 개인의 삶을 실질적으로 바꾸는 결정이 계산 절차 안으로 들어갈 때, 권력은 새로운 외피를 얻는다. 누가 어떤 기준으로 값을 정했는지 드러나지 않으면 결정은 공적 판단의 언어를 잃는다. 시민은 결과만 통보받고, 행정기관은 시스템의 판단을 인용하며, 개발자는 운영 맥락을 모른다고 답한다. 이때 책임은 한 지점에 머물지 않고 여러 층으로 흩어진다. 흩어진 책임은 정치적 통제력을 약화시킨다.

이 문제는 상상 속 위험에 머물지 않는다. 네덜란드의 복지 사기 탐지 시스템 SyRI를 둘러싼 판결은 자동화된 위험 분류가 권리 침해와 결합할 때 어떤 균열이 생기는지 보여주었다. 법원은 해당 체계가 사생활권을 과도하게 침해한다고 판단했고, 관련 논의는 투명성과 비례성의 문제를 함께 드러냈다. 유럽연합의 AI Act가 고위험 시스템과 기본권 영향평가를 중심으로 위험을 제도적으로 다루려는 배경도 여기에 있다. 자동화가 행정 효율을 높일 수 있다는 기대와 별개로, 시민에게 불리한 결과를 낳는 공적 결정은 공개적 심사와 반박 가능성을 요구한다. 알고크라시(algocracy) 비판은 바로 이 절차적 우회를 문제 삼아 왔다. 원문은 이 요구를 과격한 문장으로 압축한다.

인간 정치의 마찰력도 스스로 정당성을 보장하지는 않는다

원문은 인간의 망설임과 책임 부담을 민주주의의 마지막 방파제로 제시한다. 그 직관은 설득력이 있다. 숙의, 토론, 망설임, 설명의 의무는 정치적 결정을 기술적 집행으로 환원시키지 않는다. 인간이 직접 결정을 내릴 때에는 적어도 어떤 사유와 가치가 개입했는지 추적할 단서가 남는다. 선거, 감사, 청문, 언론 검증은 그 단서를 공적 장으로 끌어올리는 장치다.

그럼에도 인간 정치의 존재만으로 정당성이 확보되지는 않는다. 공공 AI 도입을 다룬 한 연구는 효율성 기대가 신뢰를 높이는 국면과 통제감 상실이 제도 신뢰를 약화시키는 국면이 함께 나타날 수 있음을 보여준다. 관료제는 이미 오래전부터 불투명한 문서와 복잡한 재량을 통해 시민에게 거리감을 만들어 왔다. 선출된 권력도 책임을 회피하고, 전문 행정도 스스로를 난해한 절차 속에 숨긴다. 인간이 판단했다는 사실만으로 공개성, 수정 가능성, 책임 귀속이 확보되지는 않는다. 이 지점에서 원문의 경고는 보완되어야 한다. 민주주의를 지키는 요소는 그 손이 남긴 판단을 시민이 검토하고 되돌릴 수 있게 하는 제도적 구조다.

이 전환은 알고리즘 비판을 약화하지 않는다. 오히려 비판의 기준을 강화한다. 인간 행정도 닫힌 판단 구조로 굳어질 수 있고, 알고리즘 행정은 그 폐쇄성을 더 넓고 빠르게 확산시킬 수 있다. 핵심 차이는 판단 주체의 재료가 살과 뼈인지 회로와 데이터인지에 있지 않다. 핵심은 그 판단이 공적 심사의 영역에 남아 있는지에 있다.

갈등의 축은 공개적 다툼과 닫힌 판단 구조 사이에 놓인다

민주주의의 핵심 단위는 공적으로 다툴 수 있는 판단 구조다. 시민은 정책이 기대는 기준과 우선순위를 문제 삼을 수 있는 존재다. 행정이 어떤 사람을 위험군으로 분류하고, 어떤 집단을 집중 감시하며, 어떤 신청을 자동으로 반려한다면 시민은 그 기준의 정당성을 묻는다. 이 질문이 차단되는 순간, 결정의 형식은 행정으로 남아 있어도 통치의 성격은 폐쇄적으로 변한다.

알고리즘 통치성의 위험은 여기서 선명해진다. 코드가 언제나 오류를 낸다는 주장도, 데이터가 본질적으로 악하다는 주장도 핵심에 닿지 못한다. 문제는 사회적 가치 판단이 계산 가능한 입력값과 목표 함수로 고정되는 순간, 그 고정의 정치성이 기술적 설계라는 이름으로 희미해진다는 데 있다. 실업 위험, 재범 가능성, 신용도, 복지 부정 수급 가능성은 가치 판단을 품고 있다. 무엇을 중요한 변수로 선택하고, 어느 수준의 오탐을 감수하며, 어떤 비용을 누구에게 배분할지 결정하는 가치 판단의 집합이다. 민주주의는 이 가치 판단을 공개적 논쟁 속에 두어야 한다.

따라서 알고리즘 통치성에 대한 가장 강한 비판은 기계가 인간을 밀어낸다는 도식에 기대지 않는다. 더 정확한 비판은 정치적 판단이 기술적 매개를 통과하는 동안 공적 반박 가능성을 잃는다는 데 있다. 이때 자동화는 위험의 원천이면서 동시에 위험을 확대하는 증폭기다. 이미 존재하던 권력의 비가시성은 모델, 점수, 대시보드, 계약 구조를 통해 더 촘촘하게 분산된다. 시민은 어디를 겨냥해 항의해야 하는지 파악하기 어려워진다. 통치가 부드럽게 작동할수록 저항의 표적은 더 흐려진다.

민주주의는 되돌릴 수 있는 판단 구조를 요구한다

알고리즘 통치 비판은 결국 어떤 제도를 요구하는가. 요구의 중심은 기술 금지에 머물지 않는다. 공적 결정이 자동화와 결합하는 모든 지점에서 판단을 되돌릴 수 있는 구조가 필요하다. 이를 위해 네 가지 조건이 함께 작동해야 한다.

첫째, 기준의 공개 가능성이다. 시민에게 영향을 미치는 자동화된 결정은 어떤 자료와 규칙, 어떤 평가 목표에 의해 형성되는지 설명할 수 있어야 한다. 공개 수준은 안보나 영업비밀이라는 이유만으로 일괄 차단될 수 없다. 적어도 독립 감독기관과 권리 당사자가 실질적 심사를 수행할 만큼의 정보는 제공되어야 한다.

둘째, 실질적 이의제기 가능성이다. 결정에 불복하는 절차가 문서상 존재하는 것만으로는 충분하지 않다. 검토자는 결과를 재심할 권한과 시간을 가져야 하고, 당사자는 자신의 사정을 반영할 기회를 가져야 한다. 이의제기가 접수되는 창구와 실제로 판단이 수정되는 통로가 분리되면 민주적 통제는 형식만 남는다.

셋째, 책임의 명시다. 모델을 개발한 기업, 시스템을 구매한 기관, 이를 승인한 행정 책임자 사이의 역할이 흐려질수록 책임은 약해진다. 공공기관은 자동화된 결정을 외주화해도 책임을 외주화할 수 없다. 시민에게 영향을 미치는 최종 결정은 책임을 물을 수 있는 공적 주체에게 귀속되어야 한다.

넷째, 가치 기준의 갱신 가능성이다. 알고리즘은 과거 데이터를 통해 미래를 정렬한다. 사회가 허용할 위험, 감수할 오류, 우선할 가치가 바뀌면 모델의 기준도 재검토되어야 한다. 자동화 체계가 사회적 가치의 변화를 따라 갱신되지 못하면, 과거의 질서가 기술을 통해 장기 고착된다. 민주주의는 규칙을 반복적으로 다시 묻는 체계다.

인간과 기술의 관계를 다시 정의해야 한다

이제 원문의 문장을 다른 높이에서 읽을 수 있다. “판단의 고통을 인간의 두 손으로 되가져와야 한다”는 요구는 기술의 완전한 배제를 뜻하는 문장으로 읽힐 때 좁아진다. 그 문장의 더 강한 의미는 공적 판단의 책임과 다툼 가능성을 어느 체계도 흡수할 수 없다는 선언에 있다. 민주주의는 결정의 근거를 사회가 다시 검토하도록 여지를 남기는 방식이다.

이 기준에 따라 인간과 기술의 관계도 다시 정의된다. 기술은 정치적 책임을 비워내는 장막이 될 수 있고, 공개성과 감사 가능성을 높이는 보조 장치가 될 수도 있다. 알고리즘은 행정의 예측 능력을 높일 수 있지만, 그 예측이 곧 정당성을 뜻하지는 않는다. 정당성은 계산 성능과 다른 층위에서 형성된다. 시민이 기준을 이해하고, 영향을 받은 사람이 이의를 제기하고, 책임 주체가 결과를 떠안고, 사회가 가치 기준을 갱신할 수 있을 때 정당성은 유지된다.

이 재정의는 인간 정치의 낭만화와 기술 통치의 숭배를 함께 경계한다. 민주주의의 적은 닫힌 판단 구조다. 사람이 운영하는 폐쇄적 관료제도 그 구조를 만들고, 알고리즘을 앞세운 행정도 그 구조를 확대할 수 있다. 그래서 필요한 것은 판단을 열어 두는 제도다.

결론: 정치는 판단을 공개적으로 다투게 하는 형식이다

알고리즘 통치성에 대한 가장 강한 응답은 기술을 신뢰할 것인가 불신할 것인가를 묻는 데서 나오지 않는다. 핵심 질문은 어떤 판단이 시민의 삶을 바꿀 때, 그 판단이 끝까지 공개적 다툼의 장에 남아 있는가에 있다. 이 질문은 인간 정치에도 적용되고 자동화된 행정에도 적용된다.

「선출되지 않은 코드의 독재」는 민주주의가 잃어버리기 쉬운 감각을 되살린다. 정당성은 효율성과 다른 차원에서 형성되고, 책임은 복잡성 속에서도 공적 주소를 가져야 하며, 기술적 정확성은 사회적 승인과 결합될 때 정치적 의미를 얻는다. 이 감각은 보존되어야 한다. 그 감각을 제도적 기준으로 바꿀 때, 알고리즘 통치 비판은 문명 비관에 머물지 않는 정치철학이 된다.

민주주의는 판단을 다시 열 수 있게 만드는 체계다.

작성 정보

초안 작성: GPT · GPT 5.5 · Extended Thinking
검토·개고: ChatGPT · GPT-5.5 Extended Thinking

참고자료

• John Danaher. “The Threat of Algocracy: Reality, Resistance and Accommodation.” Philosophy & Technology 29, no. 3, 2016.
• European Union. Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence, 2024.
• Alessandro Mantelero. “The Fundamental Rights Impact Assessment in the AI Act: Roots, Legal Obligations and Key Elements for a Model Template.” 2024.
• District Court of The Hague. NJCM et al. v. The Dutch State, ECLI:NL:RBDHA:2020:1878, 2020.
• Alexander Wuttke, Adrian Rauchfleisch, and Andreas Jungherr. “Artificial Intelligence in Government: Why People Feel They Lose Control.” 2025.

인포그래픽

작성일: 2026년 5월 20일