콘텐츠로 이동

계산 질서가 실패할 때

위험 점수 앞에서 사라지는 승인 회로

복지 수급자는 자신이 왜 조사 대상이 되었는지 묻는다. 병원 환자는 자신이 왜 더 낮은 위험 관리 우선순위에 놓였는지 묻는다. 담당자는 구체적인 판단자를 지목하기보다 위험 점수, 우선순위 점수, 시스템 판정이라는 말을 돌려준다. 이 장면에서 문제는 기계의 오류 가능성보다 넓다. 계산 결과가 행정과 의료의 공적 판단으로 승인되었는데도, 그 판단의 근거를 당사자가 확인하거나 다툴 수 없는 상태가 문제의 중심이다.

계산 질서의 정당성은 모델 정확도나 배치 효율성에서 자동으로 발생하지 않는다. 어떤 계산 시스템이 사회적 판단의 자리에 놓이려면, 투명성, 검증 가능성, 비례성, 대리변수의 정당성, 책임 귀속, 항소 가능성을 갖추어야 한다. 여기서 승인 회로란 계산 결과가 조직 절차 안으로 들어가 권리, 자원, 감시, 치료 우선순위를 바꾸는 판단으로 전환되는 전체 경로를 뜻한다. 이 회로에는 모델 개발자, 배치 기관, 법원, 병원, 행정기관, 현장 담당자, 당사자의 이의제기 절차가 함께 포함된다.

이 글은 계산 질서의 정당성은 누가 승인하는가의 후속 사례 분석으로, 구체 출처가 안정적으로 확인되는 세 사례에 범위를 둔다. 첫째는 네덜란드 복지 사기 탐지 시스템 SyRI다. 둘째는 의료비 지출을 건강 필요의 대리변수로 삼은 건강관리 알고리즘이다. 셋째는 광범위하게 구현된 임상 위험 예측 도구인 Epic Sepsis Model이다. 이 세 사례는 계산 시스템이 무엇을 잘못 예측했는지보다, 어떤 승인 조건을 갖추지 못했을 때 공적 판단의 자격이 무너지는지를 보여준다.

SyRI는 공익 목적과 비례성 사이의 균형을 드러냈다

SyRI는 네덜란드 정부가 사회보장, 수당, 세금 등과 관련된 사기 가능성을 탐지하기 위해 사용한 위험 지표 시스템이었다. 복지 사기를 예방하고 공공 재정을 보호하려는 목적은 공익성을 가진다. 헤이그 지방법원의 판단이 중요해지는 지점도 여기에 있다. 법원은 사기 탐지라는 목적 자체보다, 그 목적을 위해 도입된 계산 체계가 사생활 침해를 정당화할 만큼 충분한 절차적 조건을 갖추었는지를 물었다.

법원이 본 핵심은 유럽인권협약 제8조의 사생활권 기준이었다. 제8조는 사생활, 가족생활, 주거, 통신의 존중을 보호한다. 공권력이 이 권리를 제한하려면 공동체의 이익과 개인의 권리 사이에서 공정한 균형을 제시해야 한다. SyRI 법제는 이 균형을 충분히 입증하지 못했다. 특히 사용 방식이 충분히 투명하고 검증 가능하지 않다는 점이 결정적이었다. 위험 점수가 어떤 데이터 결합과 어떤 판단 규칙을 거쳐 생성되는지 당사자와 사회가 확인하기 어렵다면, 그 점수는 행정 판단의 입력값이 될 수 있어도 행정 판단의 정당한 이유가 되기 어렵다.

SyRI 사례가 드러내는 첫 번째 조건은 비례성이다. 국가는 사기 방지라는 목적을 내세울 수 있지만, 그 목적은 광범위한 데이터 결합과 비가시적 위험 산정 전체를 곧바로 승인하지 못한다. 계산 시스템이 공적 판단으로 쓰이려면 침해되는 권리의 성격, 대상 집단의 취약성, 대안적 수단의 가능성, 위험 지표가 실제로 가져오는 행정 효과가 함께 검토되어야 한다. 계산의 효율성은 비례성 심사를 요구한다.

두 번째 조건은 검증 가능성이다. SyRI에서 문제는 단순한 설명 부족에 그치지 않았다. 위험 지표가 사회적 선별 장치로 작동할 때, 그 지표의 구성 방식은 법원, 독립 전문가, 당사자, 시민사회가 검토할 수 있는 대상이어야 한다. 검증 가능성이 부족하면 판단 책임은 모델 내부로 숨어든다. 행정기관은 “시스템이 산출했다”고 말하고, 시스템은 “데이터가 그렇게 말한다”고 말하는 순환이 만들어진다. 이 순환에서는 판단 책임이 회수되지 않는다.

세 번째 조건은 항소 가능성이다. 위험 점수가 내부 참고자료에 머문다면 문제의 크기는 제한될 수 있다. 위험 점수가 조사, 감시, 수급 제한, 불이익의 문턱으로 작동하면 당사자는 자신의 권리 상태를 바꾸는 계산 결과에 대해 이유를 요구하고, 오류를 제시하며, 독립된 절차에서 다툴 수 있어야 한다. 이 지점에서 SyRI는 알고리즘이 나를 판정할 때 나는 어디에 항소하는가와 직접 연결된다. 계산 결과가 권리의 위치를 바꿀 때, 항소권은 사후 구제를 넘어 정당성의 선행 조건이 된다.

의료비 기반 알고리즘은 대리변수의 정치성을 드러냈다

2019년 Science에 실린 Obermeyer 등 연구는 미국 의료 현장에서 쓰인 건강관리 알고리즘의 인종적 편향을 분석했다. 이 알고리즘은 환자의 건강 필요를 직접 측정하기보다 의료비 지출을 대리변수로 사용했다. 표면적으로 이 선택은 합리적으로 보일 수 있다. 의료비가 많이 든 환자는 더 많은 치료를 받았고, 더 많은 치료를 받은 환자는 더 큰 필요를 가진 것으로 간주될 수 있기 때문이다. 문제는 의료비가 건강 필요의 중립적 대리변수로 작동하지 않았다는 데 있었다.

의료비는 질병의 중증도만 반영하지 않는다. 의료 접근성, 보험 구조, 병원 이용 경험, 소득, 신뢰, 차별, 지역 의료 자원의 차이를 함께 반영한다. 같은 수준의 건강 필요를 가진 환자라도 기존 의료 체계에 덜 접근해 온 집단은 더 적은 비용을 발생시킬 수 있다. 연구는 같은 위험 점수를 받은 흑인 환자가 백인 환자보다 실제로 더 아픈 상태였음을 보여주었다. 의료비를 건강 필요의 대리변수로 삼는 순간, 기존 의료 불평등은 모델의 입력으로 들어가고, 모델은 그 불평등을 다시 우선순위 배분의 기준으로 내보낸다.

이 사례의 핵심은 편향이라는 단어 하나로 포획되지 않는다. 더 정밀한 진단은 대리변수의 부적절한 승인이다. 알고리즘은 어떤 목표를 직접 측정하기 어려울 때 대리변수를 사용한다. 사기 가능성은 위험 점수로, 건강 필요는 비용으로, 업무 성과는 클릭 수로, 신뢰도는 평점으로 번역된다. 이런 번역은 기술적 편의와 함께 규범적 결정을 포함한다. 무엇을 무엇의 대리물로 삼을 것인가가 곧 어떤 현실을 판단 가능한 현실로 인정할 것인가를 정한다. 이 점에서 의료비 알고리즘은 정량화·측정의 계보학이 다루는 측정 권력의 의료적 사례다.

대리변수의 정당성은 세 가지 질문을 통과해야 한다. 첫째, 그 변수는 실제 판단 대상과 충분히 연결되어 있는가. 둘째, 그 변수는 기존 불평등을 그대로 싣고 오는가. 셋째, 그 변수를 기준으로 자원을 배분할 때 피해를 보는 집단이 이의를 제기할 수 있는가. 의료비 기반 알고리즘은 이 세 질문 앞에서 취약했다. 비용은 건강 필요와 부분적으로 연결되지만, 의료 접근 불평등을 강하게 포함한다. 비용 기준으로 환자를 선별하면 이미 덜 치료받은 집단이 다시 덜 선별된다. 이 오류는 통계적 오류인 동시에 승인 절차의 오류다.

여기서 설명 책임과 제도 설계 책임이 분리된다. 설명 책임은 알고리즘이 왜 특정 환자를 낮은 위험으로 분류했는지 밝히는 책임이다. 제도 설계 책임은 애초에 의료비를 건강 필요의 대리변수로 채택해도 되는지 검토하는 책임이다. 전자만으로는 부족하다. 시스템이 “이 환자는 비용이 낮아서 위험 점수가 낮다”고 설명해도, 그 설명은 대리변수의 정당성을 보증하지 않는다. 정당성은 설명 가능한 계산에서 완성되는 것이 아니라, 설명된 계산이 적절한 판단 기준인지 검토할 수 있을 때 생긴다.

Epic Sepsis Model은 배치와 검증의 간극을 드러냈다

대리변수의 문제 다음에는 배치 전 검증과 배치 후 책임의 문제를 보아야 한다. SyRI가 행정적 위험 산정의 법적 정당성을 드러냈고, 의료비 알고리즘이 대리변수의 규범성을 드러냈다면, Epic Sepsis Model은 광범위한 제품 배치와 임상적 정당성 사이의 간극을 드러낸다. 이 모델은 패혈증 위험을 예측해 의료진에게 조기 경고를 제공하는 도구로 설계되었고, 미국 병원들에 널리 구현된 독점적 예측 모델이었다.

2021년 JAMA Internal Medicine에 발표된 외부 검증 연구는 이 모델의 성능을 독립적으로 평가했다. 연구는 27,697명의 환자와 38,455건의 입원 사례를 분석했고, 입원 단위에서 Epic Sepsis Model의 AUC가 0.63이라고 보고했다. 이는 개발자 측에서 보고된 성능보다 낮은 수치였다. 연구는 또한 점수 기준을 적용할 경우 경고 피로가 상당한 부담으로 발생할 수 있으며, 모델이 적시에 항생제를 받지 못한 패혈증 환자를 충분히 식별하지 못한다는 점을 지적했다.

이 사례에서 결정적인 쟁점은 외부 검증 이전의 광범위한 배치가 만들어내는 신뢰 효과다. 병원에 이미 들어와 있는 시스템, 대형 전자의무기록 업체가 제공하는 모델, 임상 워크플로 안에 통합된 경고 장치는 그 자체로 신뢰의 외관을 가진다. 사용자는 제품이 배치되었다는 사실을 검증이 끝났다는 사실로 받아들이기 쉽다. 병원 조직은 도입된 시스템을 절차의 일부로 만들고, 절차의 일부가 된 시스템은 다시 정당한 도구처럼 보인다.

임상 위험 예측 알고리즘에서 필요한 책임은 여러 층위로 나뉜다. 판단 책임은 최종 임상 판단을 누가 내리는가의 문제다. 설명 책임은 특정 경고가 왜 발생했는지 의료진과 환자가 이해할 수 있는가의 문제다. 법적 책임은 잘못된 경고나 누락으로 피해가 발생했을 때 누가 책임을 지는가의 문제다. 제도 설계 책임은 외부 검증이 완료되지 않은 모델을 어떤 조건에서 병원 시스템에 넣을 수 있는가의 문제다. 이 책임들이 분화되지 않으면, 실패가 발생했을 때 모든 행위자는 부분적 책임만 갖고 전체 책임은 사라진다.

Epic Sepsis Model은 항소할 수 없는 정당성의 문제를 임상 현장으로 옮겨 놓는다. 감사, 검증, 인증, 제품 배치, 임상 사용은 서로 다른 승인 층위다. 제품 배치는 별도의 검증·감시·책임 배분을 요구하는 단계다. 외부 검증은 병원 환경별 성능 추적과 현장 책임 구조를 요구한다. 특정 병원에서의 성능은 환자에게 발생한 구체적 피해 앞에서 설명과 책임의 절차를 요구한다. 계산 질서의 정당성은 승인 단계가 많아질수록 강해지는 것이 아니라, 각 단계가 맡는 책임이 명료해질 때 유지된다.

효율성 반론은 승인 조건을 필요로 한다

계산 시스템을 옹호하는 논리에는 무시하기 어려운 힘이 있다. 복지 행정은 제한된 인력으로 복잡한 부정 수급 가능성을 모두 조사하기 어렵다. 의료기관은 비용과 인력의 제약 속에서 더 많은 환자에게 적절한 자원을 배분해야 한다. 패혈증처럼 시간이 치명적인 질환에서는 조기 경고 시스템이 의료진의 주의를 빠르게 모으는 실질적 효용을 가질 수 있다. 공공 시스템과 의료 시스템은 모든 판단을 느린 인간 숙고에만 맡길 수 없다.

이 반론은 계산 시스템의 필요성을 보여준다. 행정과 의료에서 자동화는 감시해야 할 대상이면서 동시에 필요한 보조 장치다. 문제는 효용이 승인으로 곧장 번역되는 순간 발생한다. 공익 목적은 비례성 심사를 요구하고, 비용 절감은 대리변수의 정당성 검토를 요구하며, 임상 조기 경고는 외부 검증과 현장 책임 배분을 요구한다. 계산 시스템이 유용할수록 승인 회로는 더 정교해야 한다. 강력한 도구일수록 더 많은 사람의 권리와 자원에 영향을 미치기 때문이다.

따라서 반론을 통과한 결론은 계산 거부가 아니다. 더 엄밀한 결론은 계산 시스템을 공적 판단으로 쓰기 위한 조건의 강화다. 효율성은 정당성의 적이 아니라 정당성 심사를 촉발하는 이유다. 공익, 비용 절감, 임상 보조 기능은 모두 계산 시스템을 배치할 이유가 될 수 있다. 그 이유들이 충분한 힘을 가지려면 투명성, 독립 검증, 책임 귀속, 항소 가능성의 제도적 통로를 함께 가져야 한다.

실패 사례들은 승인 조건의 목록을 역으로 만든다

세 사례는 서로 다른 영역에 속하지만 같은 구조를 공유한다. SyRI는 공익 목적이 있어도 투명성, 검증 가능성, 비례성이 부족하면 위험 점수가 행정 판단의 정당한 근거가 되기 어렵다는 점을 보여준다. 의료비 기반 건강관리 알고리즘은 예측 목표와 대리변수 사이의 간격이 사회적 불평등을 통과할 때, 계산이 차별의 기준을 재정렬할 수 있음을 보여준다. Epic Sepsis Model은 배치 규모와 제품 신뢰가 외부 검증과 임상적 책임을 대신할 수 없다는 점을 보여준다.

이 사례들에서 무너진 것은 하나의 기술 요소가 아니다. 무너진 것은 계산 결과가 사회적 판단으로 이동하는 승인 회로다. 모델은 데이터를 받아 점수를 산출한다. 조직은 그 점수를 절차에 넣는다. 절차는 그 점수를 판단의 근거로 사용한다. 당사자는 그 판단의 결과를 권리, 자원, 감시, 치료 우선순위의 변화로 경험한다. 이 사슬에서 이유 요구, 독립 검증, 책임 귀속, 항소 가능성이 작동해야 계산 결과는 권력의 형태를 넘어 판단의 형식을 갖출 수 있다.

계산 질서의 실패를 평가할 때는 단일 질문으로 충분하지 않다. 모델이 정확했는가라는 질문은 필요하지만 부분적이다. 데이터가 적절했는가, 대리변수가 정당했는가, 검증은 독립적이었는가, 배치 전후 성능은 추적되었는가, 권리 침해는 비례적이었는가, 피해 당사자는 이유를 들을 수 있었는가, 이의제기 절차는 존재했는가, 최종 책임자는 누구였는가를 함께 물어야 한다. 이 질문들이 제도화될 때 계산은 공적 판단의 자리에 설 수 있다.

이 지점에서 항소권의 제도화 비교가 후속 질문으로 등장한다. 정당성 붕괴를 막으려면 항소권은 예외적 구제 절차가 아니라 계산 시스템의 기본 설계 조건이어야 한다. 항소 가능성은 사용자가 기계에 화풀이할 수 있는 통로가 아니다. 그것은 계산 결과를 공적 판단으로 승인하기 전에, 그 판단이 이유를 제시하고 반박을 수용하며 오류를 수정할 수 있는 구조를 갖추었는지 확인하는 장치다.

계산 실패와 정당성 붕괴의 차이

계산 실패와 정당성 붕괴는 서로 다른 사건이다. 계산 실패는 모델이 잘못 예측하거나, 부적절한 변수를 사용하거나, 특정 환경에서 성능이 낮아지는 사건이다. 정당성 붕괴는 그런 계산 결과가 권리와 자원을 배분하는 공적 판단으로 사용되면서도, 그 판단을 설명하고 검증하고 다툴 수 있는 절차가 부재한 상태다. 계산 실패는 기술적 보정의 대상이 될 수 있다. 정당성 붕괴는 제도적 재설계의 대상이다.

성능이 높은 모델도 정당성 위기를 만들 수 있다. 사생활 침해의 비례성을 통과하지 못한 모델, 대리변수의 규범적 의미를 검토하지 않은 모델, 당사자의 이의제기 가능성을 닫아 놓은 모델은 높은 예측 성능을 보여도 공적 판단의 자격을 갖추기 어렵다. 오류 가능성을 가진 모델도 제한된 보조 도구로 정당하게 쓰일 수 있다. 독립 검증이 가능하고, 책임자가 분명하며, 사람이 최종 판단을 회수할 수 있고, 당사자가 이유를 요구하고 반박할 수 있다면 계산은 제도 안에서 제한된 역할을 맡을 수 있다.

SyRI, 의료비 기반 알고리즘, Epic Sepsis Model은 계산 질서의 정당성이 어디서 발생하는지 역으로 보여준다. 정당성은 점수의 매끄러움, 모델의 복잡성, 조직의 배치 결정, 제품의 확산에서 자동으로 생기지 않는다. 정당성은 계산 결과가 사회적 판단으로 승인되는 모든 단계에서 이유, 검증, 책임, 항소의 회로가 열려 있을 때 발생한다. 계산 질서는 실패 사례를 통해 자신의 조건을 드러내며, 그 조건을 제도화하지 못한 계산은 공적 판단의 이름을 얻을 수 없다.

이어 읽기

작성 정보

초안 작성: GPT · GPT 5.5 · Extended Thinking
검토·개고: ChatGPT · GPT-5.5 Extended Thinking

참고자료

  • Rechtspraak, “SyRI legislation in breach of European Convention on Human Rights,” 13 February 2020.
  • Rechtbank Den Haag, ECLI:NL:RBDHA:2020:1878, SyRI judgment, 2020.
  • Ziad Obermeyer, Brian Powers, Christine Vogeli, Sendhil Mullainathan, “Dissecting racial bias in an algorithm used to manage the health of populations,” Science 366, 447–453, 2019, DOI: 10.1126/science.aax2342.
  • Andrew Wong et al., “External Validation of a Widely Implemented Proprietary Sepsis Prediction Model in Hospitalized Patients,” JAMA Internal Medicine 181(8), 1065–1070, 2021, DOI: 10.1001/jamainternmed.2021.2626.

인포그래픽

작성일: 2026년 5월 31일