계산 질서의 정당성은 어디에서 발생하는가¶
“시스템상 어렵다”는 말은 판단자를 지운다¶
“시스템상 어렵습니다.” 사용자는 이 문장 앞에서 더 묻기 어려워진다. 창구 직원은 자신이 결정한 것이 아니라고 말한다. 상담사는 기준이 자동으로 적용된 것이라고 설명한다. 앱 화면은 거절 사유를 몇 개의 항목으로 나누어 보여주지만, 그 항목들이 어떻게 배열되었고 어느 임계값에서 결정이 갈렸는지는 드러나지 않는다. 사용자는 자신을 거절한 것이 사람인지, 기관인지, 모델인지, 규정인지 알 수 없다.
이 장면에서 문제는 계산이 틀렸는가에만 있지 않다. 계산이 맞았더라도 사용자는 여전히 묻는다. 누가 이 계산에 사회적 판단의 권한을 주었는가. 어떤 절차가 이 산출값을 행정 결정, 신용 판정, 보험 심사, 채용 평가, 복지 배분의 근거로 받아들이게 만들었는가. 계산 시스템이 사회적 판단을 대신할 때, 정당성은 계산식 내부에서 자동으로 발생하지 않는다. 정당성은 계산 결과를 공적 판단으로 전환하는 승인 절차, 책임 귀속 구조, 항소 가능성, 제도적 검증 장치에서 발생한다.
여기서 계산 질서란 단순한 알고리즘 사용을 뜻하지 않는다. 그것은 개인의 행위, 자격, 위험, 신뢰도, 권리 요구를 데이터 항목과 점수, 분류값, 추천값으로 번역하고, 그 결과를 조직의 판단 근거로 삼는 사회적 배열이다. 이 질서는 점점 더 많은 영역에서 인간의 판단을 보조하는 수준을 넘어 판단의 기본 형식을 정한다. 개인은 자기 삶의 맥락을 말하기 전에 이미 계산 가능한 항목으로 정렬된다.
공적·민주적 승인이란 산출값을 사회적 판단으로 받아들이는 권한이 영향을 받는 사람들의 이해, 이의제기, 감사 요구, 책임 회수 요구를 견딜 수 있는 절차 안에서 부여되는 상태를 뜻한다. 이 승인 없이 계산은 효율적인 처리 방식일 수는 있어도 정당한 판단 형식이 되지는 못한다. 이때 핵심 질문은 계산이 인간보다 효율적인가가 아니라, 계산이 판단 권한을 행사할 자격을 어떤 절차를 통해 획득하는가다.
정확성은 정당성의 한 조건일 뿐이다¶
계산 시스템을 옹호하는 가장 강한 논거는 정확성이다. 인간 판단은 편견, 피로, 임의성, 기분, 조직 관행에 흔들린다. 반면 계산 시스템은 동일한 입력에 동일한 출력을 내고, 대규모 사례를 처리하며, 과거 자료에서 반복 패턴을 발견한다. 이 논거는 가볍지 않다. 공적 판단이 불투명한 재량에 맡겨질 때, 계산은 일정한 형식성과 예측 가능성을 제공할 수 있다.
정확성은 대개 특정 목표에 대한 예측 성능을 뜻한다. 어떤 사람이 대출을 연체할 확률, 어떤 지원자가 조기 퇴사할 가능성, 어떤 가구가 복지 부정 수급 위험군에 들어갈 가능성을 더 잘 예측한다는 식이다. 그러나 사회적 판단은 예측 명제만으로 완성되지 않는다. 어떤 변수를 사용해도 되는가, 어떤 오류를 더 무겁게 보아야 하는가, 어떤 사람에게 설명과 이의제기의 기회를 주어야 하는가, 효율성을 위해 어느 정도의 개별 맥락을 희생할 수 있는가라는 판단이 함께 들어간다.
예측이 맞는다는 사실은 그 예측을 어떤 결정에 사용할 수 있다는 허가와 구별된다. 질병 위험을 예측할 수 있다는 사실이 곧 보험 접근권을 제한할 권한을 뜻하지 않는다. 노동 지속 가능성을 예측할 수 있다는 사실이 곧 채용 과정에서 특정 생애 조건을 불리하게 반영할 권한을 뜻하지 않는다. 계산의 정확성은 도구의 성능을 말하지만, 정당성은 그 도구가 권한을 행사하는 방식의 공적 승인 여부를 묻는다.
이 구분이 흐려질 때 계산 시스템은 자기 자신을 정당화하는 장치처럼 보인다. 높은 정확도, 낮은 오류율, 빠른 처리 속도, 일관된 적용이라는 말이 제도적 승인 절차를 대신한다. 정확한 도구도 부당한 목적에 사용될 수 있고, 일관된 기준도 부당한 배제 구조를 안정화할 수 있다. 계산 질서의 병리는 계산이 틀리는 데서만 나오지 않는다. 계산이 맞는다는 이유로 정당성의 질문이 중단되는 데서 더 깊게 발생한다.
숫자는 판단을 없애지 않고 판단의 장소를 바꾼다¶
수치적 객관성은 오랫동안 인간 재량의 불신을 흡수해 왔다. 숫자는 말보다 덜 편파적으로 보이고, 표는 증언보다 덜 흔들리는 것으로 간주되며, 점수는 판단자의 감정을 제거한 결과처럼 제시된다. 이 때문에 숫자는 단지 정보를 전달하는 형식이 아니라 승인 권위의 형식이 된다. 어떤 판단이 숫자로 표현되는 순간, 그 판단은 개인의 의견이 아니라 절차를 통과한 결과처럼 보인다.
숫자는 판단을 없애지 않고 판단의 장소를 바꾼다. 판단은 창구의 대화에서 변수 선정으로 이동하고, 심사자의 설명에서 데이터 전처리 방식으로 이동하며, 담당자의 책임에서 모델 설계와 임계값 설정으로 이동한다. 무엇을 측정할 것인가, 어떤 과거 데이터를 정상으로 삼을 것인가, 어떤 결측값을 어떻게 처리할 것인가, 어떤 목표 함수를 최적화할 것인가가 모두 판단이다. 숫자는 이 판단들을 사용자가 보기 어려운 곳에 배치한다.
이 점에서 계산 질서는 정량화 측정의 계보학과 직접 연결된다. 측정은 현실을 중립적으로 비추는 거울이 아니라 현실을 특정 형식으로 재구성하는 장치다. 측정 항목이 생기면 사람과 기관은 그 항목에 맞추어 자신을 조정한다. 평가 지표가 생기면 조직은 그 지표를 달성하는 방식으로 행동을 재배열한다. 점수는 대상을 설명하는 데서 멈추지 않고, 대상이 움직이는 경로를 바꾼다.
계산 질서의 정당성을 묻는 일은 숫자 바깥에 남아 있는 인간성을 호소하는 일이 아니다. 숫자 안으로 이전된 판단의 위치를 다시 드러내는 일이다. 누가 변수의 의미를 정했는가. 누가 오류 비용을 배분했는가. 누가 임계값을 승인했는가. 누가 이의를 심사하는가. 누가 사후 피해를 회수하는가. 이 질문들이 빠진 계산 시스템은 객관적인 것이 아니라 책임의 위치를 불투명하게 만든 것이다.
승인 절차는 계산 이전과 이후에 놓인다¶
계산 시스템이 사회적 판단의 근거가 되려면 최소한 네 가지 조건이 필요하다. 첫째, 권한의 출처가 확인되어야 한다. 어떤 기관이 어떤 법적·조직적 근거로 계산 시스템을 도입했는지, 그 시스템이 보조 도구인지 사실상의 결정자인지, 최종 판단 권한이 누구에게 남아 있는지 드러나야 한다. 권한이 불명확하면 책임은 곧바로 분산된다.
둘째, 데이터와 기준의 적합성이 검증되어야 한다. 계산 시스템은 입력된 자료의 세계를 벗어나 판단할 수 없다. 과거의 불평등이 데이터 안에 축적되어 있다면, 시스템은 그것을 효율적으로 반복할 수 있다. 특정 집단의 누락, 특정 행위의 과잉 기록, 특정 생활 방식의 불리한 번역은 계산 결과에 구조적으로 반영된다. 그러므로 검증은 모델 성능만이 아니라 데이터가 어떤 사회적 편향과 제도적 공백을 포함하는지까지 다루어야 한다.
셋째, 영향을 받는 사람에게 이해 가능한 통지와 항소 경로가 제공되어야 한다. 사용자는 자신에게 불리한 결정이 내려졌다는 사실만이 아니라, 그 결정이 어떤 기준과 자료에 근거했는지 알 수 있어야 한다. 또한 그 기준의 적용이 잘못되었거나, 자료가 부정확하거나, 개별 맥락이 충분히 반영되지 않았다고 판단할 때 이의를 제기할 수 있어야 한다. 이 조건은 알고리즘이 나를 판정할 때 나는 어디에 항소하는가가 다루는 문제와 맞닿아 있다. 항소 가능성이 없는 자동화는 판단을 빠르게 만들 수는 있어도 판단을 정당하게 만들지는 못한다.
넷째, 책임 회수 구조가 있어야 한다. 계산 시스템이 잘못된 결정을 만들었을 때, 책임은 개발자, 도입 기관, 운영 담당자, 심사자, 규제 기관 사이에서 증발하기 쉽다. 각자는 자신의 영역에서 절차를 따랐다고 말할 수 있다. 개발자는 모델을 제공했을 뿐이라고 하고, 기관은 조달 절차를 따랐다고 하며, 담당자는 시스템 권고를 적용했다고 말한다. 이 분산 구조에서는 피해자가 책임의 최종 주소를 찾기 어렵다. 정당한 계산 질서는 오류 발생 이후 책임을 회수할 수 있는 구조를 포함해야 한다.
이 네 조건은 계산 이전과 계산 이후를 함께 묶는다. 계산 이전에는 권한 부여, 데이터 적합성, 기준 승인, 도입 절차가 검증되어야 한다. 계산 이후에는 통지, 항소, 감사, 피해 회복, 책임 귀속이 작동해야 한다. 공적·민주적 승인은 이 두 시간대를 하나의 절차로 연결할 때 생긴다. 계산 이전의 승인 없이 산출값은 권한을 얻지 못하고, 계산 이후의 회수 가능성 없이 산출값은 책임을 견디지 못한다.
사실상의 승인은 조달과 표준과 API에서 발생한다¶
계산 질서의 승인은 의회, 법률, 규정 같은 공식 절차에서만 발생하지 않는다. 많은 경우 승인 효과는 더 낮고 실무적인 층위에서 축적된다. 기관은 특정 솔루션을 조달하고, 업계 표준을 준수하며, 플랫폼이 제공하는 API에 업무 흐름을 맞춘다. 행정 실무자는 기존 시스템과 연동되는 도구를 선호하고, 조직은 감사에 대비해 문서화 가능한 절차를 택하며, 플랫폼은 통합 비용을 낮추는 방식으로 사실상의 표준이 된다.
이 과정에서 계산 시스템은 명시적 정치적 토론을 거치기 전에 이미 일상적 판단 인프라가 된다. 특정 점수 체계가 여러 기관에 도입되고, 특정 데이터 형식이 표준이 되며, 특정 플랫폼의 분류 기준이 업무 절차에 녹아든다. 어느 순간 조직은 그 시스템을 도입할 것인지 묻기보다, 그 시스템 없이 어떻게 업무를 처리할 수 있는지 묻게 된다. 정당성의 질문은 이 지점에서 더 어려워진다. 공식적으로는 사람이 최종 판단자라고 말하지만, 실제로는 계산 시스템이 가능한 선택지의 범위와 설명 가능한 결정의 형식을 미리 정한다.
이 구조는 의사결정 자동화의 제국이 보여주는 문제와 이어진다. 자동화된 판단은 하나의 모델이나 프로그램만의 문제가 아니라 조직, 문서, 인터페이스, 조달 계약, 표준, 사후 감사 방식이 결합한 체계다. 사람이 최종 버튼을 누른다는 사실만으로 인간 판단이 보존되는 것은 아니다. 사람이 계산 시스템이 마련한 선택지 안에서만 움직이고, 그 밖의 판단은 조직적으로 설명하기 어려워진다면, 판단 권한은 이미 상당 부분 이전된 것이다.
따라서 계산 질서의 정당성을 평가하려면 공식 설명과 실제 업무 흐름을 함께 보아야 한다. 규정상 결정권자가 누구인지, 실무상 어떤 산출값이 결정의 기본값이 되는지, 담당자가 시스템 권고를 거부할 수 있는지, 거부했을 때 조직이 그 판단을 보호하는지, 외부 감사가 모델 자체뿐 아니라 도입 절차와 운영 관행까지 살피는지 확인해야 한다. 정당성은 문서상의 권한 배치가 아니라 실제 판단 회로의 작동 방식에서 검증된다.
설명은 권한 통제와 결합될 때 정당성 장치가 된다¶
계산 시스템에 대한 비판은 자주 설명 가능성의 요구로 수렴한다. 왜 이런 결정이 내려졌는지 설명하라는 요구는 정당하다. 설명이 없으면 사용자는 자신에게 적용된 기준을 이해할 수 없고, 오류를 발견할 수도 없으며, 항소를 준비할 수도 없다. 설명 가능성은 계산 질서가 공적 판단의 언어로 진입하기 위한 기본 조건이다.
설명은 결정의 이유를 말하게 만들지만, 그 자체로 권한의 정당한 부여를 보장하지 않는다. 어떤 시스템은 충분히 설명 가능하면서도 부당한 기준을 적용할 수 있다. 어떤 결정은 이유가 명료하면서도 항소 경로가 봉쇄되어 있을 수 있다. 어떤 기관은 산출값의 근거를 설명하면서도 피해 발생 이후 책임을 회수하지 못할 수 있다. 설명은 판단의 문장을 제공하지만, 정당성은 그 문장이 제도적 이의제기와 책임 회수의 절차 안에서 작동할 때 생긴다.
설명은 사용자가 들을 수 있고, 반박할 수 있고, 기록으로 남길 수 있고, 감사 대상으로 제출할 수 있어야 한다. 설명은 담당자의 안내문에 머무르지 않고 권한 통제의 매개가 되어야 한다. 설명이 항소, 감사, 책임, 공적 검증으로 이어질 때 그것은 정당성 장치가 된다. 설명이 불만을 진정시키는 안내문에 머물 때 그것은 순응 장치로 기능한다.
이 조건은 계산되는 시민의 권리를 다시 생각하게 만든다. 시민이 계산되는 존재가 되는 순간, 권리는 단순히 개인정보 보호나 차별 금지에 머물 수 없다. 시민은 자신을 분류하는 기준을 알 권리, 잘못된 자료를 고칠 권리, 불리한 자동 판단에 이의를 제기할 권리, 시스템 도입과 운영에 대한 공적 감사를 요구할 권리를 가져야 한다. 계산되는 시민은 계산의 대상이면서 동시에 계산 질서를 승인하거나 거부할 수 있는 정치적 주체여야 한다.
계산 질서의 민주적 정당성은 네 조건의 결합에서 발생한다. 산출값의 이유를 이해할 수 있어야 하고, 그 이유에 이의를 제기할 수 있어야 하며, 시스템의 도입과 운영을 감사할 수 있어야 하고, 피해 발생 이후 책임을 회수할 수 있어야 한다. 항소 가능성, 감사 가능성, 책임 회수 가능성, 공적 승인 절차가 함께 작동할 때 계산은 정당한 사회적 판단 형식이 된다.
이어 읽기¶
작성 정보¶
초안 작성: GPT · GPT 5.5 · Extended Thinking
검토·개고: ChatGPT · GPT-5.5 Extended Thinking
인포그래픽¶
작성일: 2026년 5월 30일