자동화는 언제 인간보다 공정한가¶
자동화된 판정은 인간의 재량보다 더 공정할 수 있다. 이 글은 자동화 비판의 반대편을 맡는다. 자동화가 책임을 흐리고 판단을 은폐한다는 기존 진단은 여전히 유효하다. 그럼에도 인간 재량이 가진 자의성, 비일관성, 추적 불가능성을 줄이는 장치로 자동화가 작동하는 경우가 있다. 이 글의 목표는 그 경우를 무조건 옹호하는 일이 아니라, 자동화가 공정의 도구가 되기 위해 필요한 조건을 분리하는 데 있다.
여기서 공정은 좁은 의미로 운용한다. 공정은 같은 처지에 있는 사람을 같게 대우하고, 그 대우의 근거를 점검과 교정에 열어 두는 판정의 성질을 가리킨다. 이 글의 척도는 판정 절차가 자의에 얼마나 저항하는가다. 결과의 선함이나 분배의 정의는 여기서 다루지 않는다.
재량은 공정을 보증하지 않는다¶
인간이 판정한다는 사실 자체는 공정을 보증하지 않는다. 재량은 사정을 고려할 자유인 동시에 자의가 들어설 통로다. 같은 사건이 누가 심사하느냐에 따라 다른 결과를 받는다면, 그 차이는 정의의 불안정성을 드러낸다.
가석방 심사를 보자. 이스라엘 가석방 위원회의 결정을 분석한 연구는 심사가 진행될수록 인용률이 떨어지다가 식사 휴식 직후 다시 올라가는 양상을 보고했다. 해석을 둘러싼 논쟁은 남아 있지만, 적어도 동일한 사건이 심사 순서나 시간대 같은 사건 외적 요인에 노출된다는 점은 드러난다. 심사관의 피로가 신청자의 죄질이나 교정 정도를 제치고 결과에 개입한다면, 그 결정은 공정의 외피를 쓴 우연이다.
채용도 같은 구조를 갖는다. 동일한 이력서에 서로 다른 이름을 붙여 보낸 현장 실험들은 지원자의 자격이 같아도 이름이 환기하는 인종·성별 신호에 따라 회신율이 달라진다는 결과를 반복해서 내놓았다. 면접관은 자신이 공정하게 판단한다고 믿지만, 그 믿음과 실제 결정 사이에는 본인도 접근하지 못하는 간격이 있다. 재량의 가장 위험한 속성은 편향을 가진 자가 자신의 무죄를 확신한다는 데 있다.
이 두 장면은 공통된 구조를 보여 준다. 인간 재량은 일관성이 약하고, 자기 점검이 어렵고, 사후 추적이 힘들다. 같은 기준을 같은 강도로 적용했는지 확인할 방법이 제한된다. 재량은 매번 새로 발생하고 흔적 없이 사라진다.
자동화가 자의를 줄이는 자리¶
자동화된 판정은 바로 이 세 약점을 겨냥할 때 인간 재량보다 공정해진다.
첫째는 일관성이다. 동일한 입력에 동일한 규칙을 적용하는 절차는 심사 순서, 시간대, 피로, 기분에 흔들리지 않는다. 오전의 신청자와 오후의 신청자가 같은 기준을 받는다. 일관성은 그 자체로 공정의 한 축이다. 같은 처지에 있는 사람을 같게 대우하라는 형식적 평등의 요구를, 규칙 기반 절차는 인간보다 안정적으로 이행한다.
형식적 평등이 실질적 공정의 전부를 이루지는 못한다. 같은 규칙을 기계적으로 적용하는 일이 서로 다른 처지를 무시하는 결과를 낳을 수 있다. 그래도 형식적 평등은 실질적 공정의 출발선이다. 동일 사건을 동일하게 다루지 못하는 절차는 어떤 정교한 사정 고려에 이르기도 전에 신뢰를 잃는다. 자동화의 일관성은 그 위에 사정 고려를 다시 얹을 수 있는 안정된 바닥을 제공한다.
둘째는 기록 가능성이다. 자동화된 결정은 어떤 입력에 어떤 가중치가 적용되어 어떤 출력이 나왔는지를 원칙적으로 남길 수 있다. 인간 심사관의 머릿속에서 일어난 판단은 사후에 재구성할 수밖에 없지만, 코드화된 절차는 그 자리에 기록을 남긴다. 기록이 있어야 검증이 가능하고, 검증이 가능해야 책임을 물을 수 있다.
셋째는 감사 가능성이다. 수천 건의 인간 결정에서 인종이나 성별에 따른 격차를 찾아내려면 막대한 비용이 든다. 반면 단일 절차의 출력 분포는 집단 간 차이를 통계적으로 점검할 수 있다. 자동화는 차별을 자동으로 없애지 않는다. 그러나 차별을 측정 가능한 대상으로 만든다. 보이지 않던 편향을 표면으로 끌어올린다는 점에서, 자동화는 공정을 감시할 수 있게 하는 조건이 된다.
우월성은 조건부다¶
여기까지의 논증은 자동화 일반에 대한 찬양이 아니다. 자동화된 판정이 인간 재량보다 공정해지는 것은 특정 조건이 충족될 때다. 조건이 결여되면 자동화는 인간의 자의를 제거하는 대신 그 자의를 규모화한다.
네 가지 조건이 핵심이다.
입력의 대표성이 첫 번째다. 판정의 근거가 되는 데이터가 특정 집단을 체계적으로 과소·과대 대표하면, 절차는 그 왜곡을 충실히 재생산한다. 과거의 차별이 기록된 데이터로 학습한 모델은 차별을 객관성의 언어로 번역한다.
기준의 공개성이 두 번째다. 어떤 변수가 어떤 방향으로 작동하는지가 비공개라면, 일관성은 검증 불가능한 일관성이 된다. 같은 규칙을 적용한다는 주장은 그 규칙을 들여다볼 수 있을 때만 의미를 가진다.
오류의 교정 가능성이 세 번째다. 절차가 틀린 결정을 내렸을 때 그것을 발견하고 되돌릴 경로가 없다면, 일관성은 오류의 일관된 반복으로 바뀐다. 자동화의 위험은 틀린다는 데 있지 않고, 틀린 채로 멈추지 않는다는 데 있다.
이의제기 경로가 네 번째다. 판정 대상이 결정에 맞설 수 있어야 하고, 그 이의가 절차 바깥의 인간에게 도달해야 한다. 이의제기 없는 자동화는 빠르고 일관되게 작동하는 폐쇄 회로일 뿐이다.
이 네 조건은 자동화가 공정해지는 외부 환경이다. 공정은 알고리즘 안에 내장된 속성이 아니라, 알고리즘을 둘러싼 제도가 만들어 내는 결과다. 같은 모델이라도 이 환경 안에 놓이면 공정의 도구가 되고, 환경 밖에 놓이면 자의의 증폭기가 된다.
가장 강한 반론¶
이 논증에 대한 가장 강한 반론은 자동화 회의론의 핵심 사례에서 나온다. 미국의 재범 위험 예측 도구를 둘러싼 논쟁이 그 전형이다. 이 도구가 흑인 피고를 백인 피고보다 더 높은 위험군으로 잘못 분류하는 비율이 크다는 분석이 제기되었고, 자동화된 판정이 인간의 편향을 제거하기보다 그것을 통계의 권위로 세탁한다는 비판이 이어졌다.
반론은 이렇게 정식화된다. 자동화는 과거의 차별을 학습해 미래에 코드화하고, 인간 개개인의 편향과 달리 그것을 수백만 건 규모로 균일하게 집행한다. 인간의 자의는 흩어져 있어 부분적으로 상쇄되지만, 알고리즘의 편향은 단일 지점에서 전체를 오염시킨다.
이 반론은 강하고, 부분적으로 옳다. 자동화가 편향을 규모화할 수 있다는 경고는 받아들여야 한다. 흩어진 편향과 집중된 편향은 같은 크기여도 위험의 성격이 다르다.
반론이 겨누는 것은 조건이다¶
이 반론을 끝까지 따라가면, 그것이 무너뜨리는 대상은 자동화 자체보다 조건을 결여한 자동화다.
재범 예측 도구의 실패는 앞서 제시한 네 조건의 결여로 분해된다. 학습 데이터가 과거의 차별적 체포·기소 기록을 반영했다면 입력의 대표성이 깨진 것이다. 위험 점수의 산출 방식이 영업 비밀로 보호되어 피고가 그 근거를 들여다볼 수 없었다면 기준의 공개성이 결여된 것이다. 점수가 한번 매겨진 뒤 갱신이나 반증의 경로가 약했다면 오류의 교정 가능성이 부족한 것이다. 그리고 그 점수에 맞설 실질적 이의제기 통로가 형식에 그쳤다면 네 번째 조건이 비어 있던 것이다.
여기서 결정적인 비교가 성립한다. 이 도구가 비판받은 격차를, 같은 사건을 다루는 인간 판사 집단은 더 잘 피해 가는가. 인간 재량 역시 같은 차별적 직관에 노출되어 있고, 흩어져 있다는 이유로 그 편향은 측정조차 어렵다. 자동화의 편향은 적어도 외부 분석이 숫자로 드러낼 수 있었다. 인간 판사 수천 명의 머릿속 편향은 그런 방식으로 감사되지 않는다. 자동화의 진짜 죄는 편향을 가졌다는 데 있지 않다. 그 죄는 조건이 갖춰지지 않은 채로 편향을 가시화 가능한 형태로 집행했다는 데 있다. 그리고 가시화 가능성은 교정의 전제다. 측정할 수 없는 편향은 고칠 수도 없다.
반론은 자동화를 인간 재량으로 되돌리라고 요구하지 않는다. 그것이 요구하는 것은 네 조건을 갖추라는 것이다. 반론의 힘은 자동화를 폐기할 근거를 주지 않는다. 그 힘은 자동화 설계의 사양으로 작동한다. 가장 날카로운 비판이 가장 구체적인 설계 지침이 되는 자리에서, 회의론과 옹호론은 같은 목록을 향한다.
공정의 판정 규칙¶
그러므로 결론은 인간과 기계 사이의 균형에 있지 않다. 균형은 판정을 회피하는 말이다. 필요한 것은 자동화가 인간 재량보다 더 공정하다고 말할 수 있는 조건의 목록이며, 그 목록은 다음과 같이 정식화할 수 있다.
판정의 주체 측면에서, 절차의 출력에 대해 책임을 지는 인간 또는 기관이 명시되어야 한다. 책임 주소가 없는 자동화는 일관성만 갖춘 무책임이다. 여기서의 책임은 절차를 설계하고 그 결과를 변경할 권한을 가진 자의 판단 책임을 뜻하며, 모델 자체에 돌릴 수 있는 도덕적 책임과 구분된다.
절차 측면에서, 어떤 입력이 어떤 기준으로 처리되는지가 판정 대상과 감사자에게 열려 있어야 한다. 공개성은 영업 비밀보다 우선하는 공적 판정의 최소 요건이다.
기준 측면에서, 입력 데이터의 대표성이 점검되고 그 한계가 명시되어야 한다. 어떤 집단에 대해 절차의 신뢰도가 낮은지가 함께 공개되어야 한다.
이의제기 측면에서, 판정 대상이 결정에 맞설 수 있고 그 이의가 절차 바깥 인간에게 도달하는 경로가 보장되어야 한다.
복구 측면에서, 틀린 판정이 확인되었을 때 그 결정으로 발생한 손실을 되돌리는 절차가 함께 설계되어야 한다. 교정 없는 발견은 공정의 절반에 그친다.
이 다섯 조건이 충족될 때, 자동화된 판정은 인간 재량보다 더 공정하다. 충족되지 않을 때, 그것은 인간의 자의를 규모와 속도로 증폭한 장치에 지나지 않는다. 자동화와 인간 재량의 대결은 누가 더 신뢰할 만한 종족인가를 가리는 문제가 아니다. 그것은 어느 쪽이 자신의 자의를 점검 가능한 형태로 내놓을 수 있는가의 문제다. 인간 재량은 대체로 그러지 못하고, 잘 설계된 자동화는 그럴 수 있다. 공정은 판단의 주체가 인간인지 기계인지에 달려 있지 않다. 공정은 판단이 검증과 교정에 자신을 여는 정도에 달려 있다.
이어 읽기¶
- 책임 없는 자동화의 제국 — 이 글이 정면으로 반박하는 지배적 진단을 가장 강하게 정식화한 글이다. 두 글을 나란히 읽어야 자동화 비판의 사정거리가 분명해진다.
- 의사결정 자동화의 제국 — 자동화가 보이지 않는 통치자가 되는 경로를 추적한다. 이 글이 제시한 위험이 어떤 조건에서 공정으로 전환될 수 있는지 비교하며 읽을 수 있다.
- 알고리즘이 나를 판정할 때 나는 어디에 항소하는가 — 이 글이 다섯 조건의 하나로만 제시한 이의제기와 항소를 제도 차원에서 전개한다. 공정의 조건을 절차로 옮기려는 독자가 다음에 읽을 글이다.
작성 정보¶
초안 작성: Claude CoWork · Claude Opus 4.8 · unknown
검토·개고: ChatGPT · GPT-5.5 Extended Thinking
참고자료¶
- Shai Danziger, Jonathan Levav, Liora Avnaim-Pesso, “Extraneous factors in judicial decisions,” PNAS (2011). 가석방 심사 결과가 사건 외적 요인에 노출된다는 분석. 해석 논쟁이 있음을 본문에서 함께 표시했다.
- Marianne Bertrand, Sendhil Mullainathan, “Are Emily and Greg More Employable than Lakisha and Jamal?” American Economic Review (2004). 동일 이력서의 이름 신호에 따른 회신율 격차 실험.
- Julia Angwin et al., “Machine Bias,” ProPublica (2016). 재범 위험 예측 도구의 인종 간 오분류 격차 분석. 통계 해석을 둘러싼 후속 반박이 있음을 전제로 인용했다.
- Anthony W. Flores, Kristin Bechtel, Christopher T. Lowenkamp, “False Positives, False Negatives, and False Analyses,” Federal Probation (2016). ProPublica의 COMPAS 분석에 대한 대표적 반박. 본문은 ProPublica 사례를 자동화 회의론의 강한 반론으로 쓰되, 통계 해석 논쟁이 있음을 전제로 삼는다.
인포그래픽¶
작성일: 2026년 6월 11일