콘텐츠로 이동

계산 질서의 정당성은 누가 승인하는가

“시스템상 어렵다”는 말은 판단자를 숨긴다

대출 창구에서 사용자는 자신의 신청이 거절되었다는 말을 듣는다. 복지 심사에서 신청자는 기준에 맞지 않는다는 통보를 받는다. 플랫폼에서는 계정이 정지되고, 보험사는 위험 점수를 이유로 보험료를 다시 산정한다. 이 장면들에서 가장 자주 들리는 말은 “시스템상 어렵다”는 표현이다. 이 말은 부드럽지만 강하다. 담당자는 자신이 판단한 것이 아니라 시스템이 처리한 것처럼 말하고, 사용자는 누구에게 이유를 묻고 누구에게 이의를 제기해야 하는지 알기 어렵다.

이 장면에서 핵심 문제는 계산 결과가 틀렸는가에만 있지 않다. 계산 결과가 맞을 수도 있고, 일정한 통계적 근거를 가질 수도 있다. 더 근본적인 질문은 다른 곳에 있다. 계산 결과는 어떤 절차를 통해 사회적 판정의 지위를 얻는가. 누가 그 결과를 받아들이기로 승인했는가. 그 승인에 대해 누가 책임을 지는가. 계산 질서의 정당성은 모델 내부의 정확도에서 자동으로 발생하지 않는다. 그것은 계산 결과를 공적 판단으로 격상시키는 승인 절차, 책임 귀속 구조, 항소 가능성, 독립 감사, 제도적 검증 장치가 결합될 때 발생한다.

계산 질서는 이미 측정과 점수화의 긴 계보 위에 놓여 있다. 사람은 신용점수, 활동 지표, 위험군, 선호 유형, 추천 가능성, 보험 위험, 노동 성과로 번역된다. 정량화·측정의 계보학이 보여주는 것처럼 수는 단순한 묘사 장치로 머물지 않고 배분과 평가의 기준이 된다. 수치가 판단을 보조하는 수준을 지나 접근권, 자격, 비용, 노출, 기회를 가르는 기준이 될 때, 계산은 사회적 권한을 갖기 시작한다.

정확성은 승인 절차를 대신하지 못한다

계산 시스템이 인간보다 일관적이고 빠르다는 주장은 부분적으로 설득력을 가진다. 인간 심사자는 피로하고, 편견을 가질 수 있으며, 비슷한 사안을 서로 다르게 처리할 수 있다. 계산 시스템은 대량의 사례를 일정한 규칙에 따라 처리하고, 유사한 입력에 유사한 결과를 낼 수 있다. 그래서 자동화된 판정은 종종 자의성을 줄이는 기술로 도입된다.

그러나 정확성과 정당성은 같은 개념이 아니다. 정확성은 모델이 예측 대상과 얼마나 잘 맞는지를 묻는다. 정당성은 그 예측 결과를 사람의 권리, 기회, 의무, 비용, 자격에 연결해도 되는지를 묻는다. 신용 위험을 예측하는 모델이 통계적으로 유효하더라도, 그 모델을 대출 거절의 최종 근거로 사용할 권한은 별도의 문제다. 복지 부정수급 위험을 예측하는 시스템이 일정한 패턴을 찾아낸다 해도, 그 위험 점수가 급여 중지나 조사 개시의 직접 근거가 되려면 공적 승인 절차가 필요하다.

“알고리즘은 중립적이므로 더 정당하다”는 통념은 이 구분을 흐린다. 알고리즘은 인간의 감정을 갖지 않지만, 그것이 곧 사회적 중립성을 보장하지는 않는다. 데이터는 과거의 제도적 결정과 사회적 불평등을 포함하고, 모델의 목표 함수는 어떤 오류를 더 감수할지 선택하며, 조직은 계산 결과를 어떤 문턱값에서 개입으로 바꿀지 정한다. 계산은 판단을 제거하지 않는다. 판단의 위치를 데이터 수집, 모델 설계, 기준 설정, 결과 적용, 예외 처리의 여러 층위로 분산시킨다.

이 점에서 계산 질서의 정당성을 정확성으로만 평가하면 핵심이 빠진다. 정확한 계산도 부당한 절차 안에서 사용될 수 있다. 반대로 불완전한 계산도 제한된 목적, 명확한 고지, 이의제기 절차, 인간 심사, 독립 감사를 통해 공적으로 통제될 수 있다. 정당성은 계산의 성능표가 아니라 계산이 권한을 얻는 제도적 경로에서 발생한다.

설명 가능성은 이유를 들을 권리로 전환되어야 한다

설명 가능성은 계산 질서의 첫 번째 조건이다. 당사자는 자신에게 내려진 판정이 어떤 종류의 판단인지 알아야 한다. 단순한 통계적 분류인지, 행정적 결정인지, 계약상 조치인지, 권리 제한인지, 위험 신호인지가 구분되어야 한다. 이 구분이 없으면 사용자는 자신이 받은 통보를 해석할 수 없고, 해석할 수 없으면 다툴 수도 없다.

설명은 모델 내부의 모든 수학적 구조를 공개하는 일과 동일하지 않다. 당사자에게 필요한 설명은 판정의 사회적 이유다. 어떤 자료가 사용되었는가. 어떤 기준이 적용되었는가. 어떤 요소가 결과에 결정적으로 작용했는가. 어떤 예외 사유가 고려될 수 있는가. 판정 결과가 어떤 권리와 기회에 영향을 주는가. 이런 질문에 답하지 못하는 계산 시스템은 공적 판단의 언어를 갖추지 못한 상태다.

영업비밀, 보안, 프라이버시는 설명의 범위를 제한할 수 있다. 그러나 이 제한은 당사자에게 아무 이유도 제시하지 않는 면책 사유가 될 수 없다. 대출 거절을 받은 사용자는 모델의 전체 소스코드나 가중치 배열을 요구하는 것이 아니라, 자신의 소득, 연체 이력, 직업 상태, 기존 채무, 거래 기록 중 어떤 요소가 판정에 실질적으로 작용했는지 알 권리를 갖는다. 복지 심사에서 탈락한 신청자는 내부 위험 모델의 모든 수학적 세부를 알 필요까지는 없더라도, 어떤 자료가 어떤 기준으로 자신의 자격을 부정했는지 확인할 수 있어야 한다.

설명 가능성이 기술적 해석 도구에만 머물면 정당성 조건으로 충분하지 않다. 설명은 조직의 응답 의무와 연결되어야 한다. 사용자가 “왜 거절되었는가”라고 물을 때, 담당 기관은 “시스템이 그렇게 판단했다”고 답하는 데서 멈출 수 없다. 시스템의 산출을 어떤 제도적 판단으로 채택했는지, 그 판단을 누가 승인했는지, 어떤 근거로 번복 가능한지 설명해야 한다.

여기서 설명 가능성은 인식론적 조건이자 제도적 조건이 된다. 계산 결과가 무엇을 의미하는지 이해할 수 있어야 하고, 그 의미를 제도 안에서 다툴 수 있어야 한다. 설명은 투명성의 장식이 아니라 항소 가능성의 입구다.

항소 가능성은 계산을 공적 판단 안에 묶는다

항소 가능성은 계산 질서를 정당화하는 핵심 조건이다. 판정이 사람에게 실질적 영향을 미친다면, 그 판정은 다투어질 수 있어야 한다. 대출 거절, 계정 정지, 복지 심사 탈락, 보험료 상승, 채용 배제, 노출 제한은 단순한 정보 처리 결과가 아니다. 그것들은 기회와 비용을 재배분하는 사회적 행위다. 사회적 행위는 이유 제시와 이의제기의 구조 안에 놓여야 한다.

알고리즘이 나를 판정할 때 나는 어디에 항소하는가라는 질문은 계산 질서의 정당성 문제를 당사자의 위치에서 드러낸다. 자동화된 판정이 내려졌는데 항소할 곳이 없다면, 계산은 절차 밖의 권력이 된다. 판정을 다툴 수 없는 사용자는 계산의 대상일 뿐, 판단 과정의 당사자가 되지 못한다.

항소 가능성은 단순한 고객센터 접수와 다르다. 항소는 판정의 근거를 확인하고, 오류를 지적하고, 예외 사유를 제출하고, 독립된 검토자를 통해 결정을 다시 받을 수 있는 절차를 뜻한다. 이 절차는 계산 결과의 오류만 다루지 않는다. 데이터가 부정확했는지, 기준이 부당했는지, 적용 범위가 과도했는지, 자동화가 맡아서는 안 되는 결정을 맡았는지까지 검토해야 한다.

대출 거절 장면으로 돌아가면 항소권은 “점수가 낮아서 어렵다”는 말을 한 번 더 듣는 절차가 아니다. 사용자는 어떤 자료가 자신에게 불리하게 작용했는지 확인하고, 최근 소득 변화나 상환 기록 같은 반대 자료를 제출할 수 있어야 한다. 재심사는 처음의 자동 산출을 그대로 반복하는 절차가 아니라, 계산 결과를 제도적 기준과 개별 사정에 비추어 다시 판단하는 절차여야 한다.

항소 가능성이 있을 때 계산은 폐쇄 회로에서 벗어난다. 시스템의 판정은 최종 명령이 아니라 검토 가능한 제안, 또는 조건부 판단이 된다. 제도는 계산 결과를 그대로 집행하는 장치가 아니라, 그 결과를 공적 기준에 맞게 승인하거나 수정하거나 폐기하는 장치가 된다. 계산 질서의 정당성은 이 되돌림의 통로를 필요로 한다.

책임은 회수될 수 있을 때 제도적 형식을 얻는다

계산 시스템이 사회적 판정을 수행할 때 책임은 쉽게 흩어진다. 개발사는 모델을 만들었을 뿐이라고 말하고, 운영 기관은 시스템을 도입했을 뿐이라고 말하고, 현장 담당자는 결과를 따랐을 뿐이라고 말한다. 데이터 제공자, 외주 업체, 플랫폼 관리자, 규제 기관, 심사 담당자가 모두 조금씩 관여하지만, 잘못된 판정이 발생했을 때 책임은 어느 한 지점으로 돌아오지 않는다.

정당성은 책임의 회수 가능성을 요구한다. 누가 모델을 승인했는가. 누가 적용 범위를 정했는가. 누가 문턱값을 설정했는가. 누가 예외 처리를 담당하는가. 누가 항소 결과를 반영하는가. 누가 피해 회복을 결정하는가. 이 질문에 답할 수 없으면 계산 질서는 책임 없는 권한이 된다.

회수 가능성으로서의 책임은 이 문제를 더 넓은 AI 책임 구조로 확장한다. 책임은 추상적 비난 가능성이 아니라, 실패 이후 다시 돌아갈 수 있는 제도적 주소다. 자동화된 판단이 사람에게 영향을 미칠수록 이 주소는 명확해야 한다. 책임 주체가 명시되지 않은 시스템은 효율적일 수 있어도 정당한 공적 판정 장치가 되기 어렵다.

책임 귀속은 개인 처벌의 문제로 축소될 수 없다. 계산 질서에서 책임은 법적 책임, 설명 책임, 판단 책임, 제도 설계 책임으로 나뉜다. 법적 책임은 피해와 의무 위반을 다룬다. 설명 책임은 당사자에게 이유를 제공할 의무를 뜻한다. 판단 책임은 계산 결과를 사회적 판정으로 채택한 결정을 가리킨다. 제도 설계 책임은 항소, 감사, 기록, 수정 절차를 마련할 의무다. 이 책임들이 분화될 때 계산 시스템은 공적 판단의 구조 안에 들어온다.

독립 감사는 승인 권한을 다시 사회로 돌려놓는다

계산 질서가 정당성을 얻으려면 내부 운영자의 자기 설명만으로 충분하지 않다. 독립 감사는 시스템의 목적, 데이터, 성능, 오류 분포, 예외 처리, 변경 기록, 영향 범위를 외부 기준으로 점검하는 절차다. 감사는 계산 시스템을 의심하기 위한 의례가 아니라, 계산 결과가 사회적 판단으로 사용될 수 있는지 검증하는 승인 장치다.

감사는 모델의 정확도만 보지 않는다. 어떤 집단에서 오류가 집중되는지, 데이터가 어떤 대상을 배제하는지, 판정 기준이 공표된 목적을 넘어 확장되었는지, 사람이 검토해야 할 결정을 자동화가 떠맡고 있는지, 항소 결과가 시스템 개선에 반영되는지 확인해야 한다. 모델 변경 기록도 중요하다. 계산 시스템은 한 번 만들어진 뒤 고정된 장치가 아니라 지속적으로 업데이트되는 운영 체계다. 변경 이력이 기록되지 않으면 어떤 판정이 어떤 기준으로 내려졌는지 사후에 추적할 수 없다.

이 절차는 의사결정 자동화의 제국이 다룬 자동화 권력의 확장 문제와 직접 연결된다. 자동화된 판정은 분산된 조직과 데이터 인프라 속에서 작동하기 때문에, 당사자 개인이 전체 구조를 파악하기 어렵다. 독립 감사는 이 비대칭을 줄이는 제도적 장치다. 계산 권한이 사적 시스템이나 행정 내부 절차에 갇히지 않도록, 승인 권한을 다시 공적 검증의 장으로 옮긴다.

독립 감사는 인간 심사권과 결합될 때 더 강한 조건이 된다. 모든 결정을 인간이 직접 내려야 한다는 뜻은 아니다. 핵심은 영향을 크게 미치는 결정일수록 인간이 계산 결과를 검토하고, 예외를 판단하고, 책임 있는 결정을 내릴 수 있어야 한다는 점이다. 인간 심사는 자동화의 장식이 아니라 승인 절차의 마지막 책임 지점이어야 한다.

계산 질서의 정당성은 승인 구조에서 발생한다

계산 시스템은 현대 사회의 복잡한 배분 문제를 다루는 강력한 장치다. 그것은 많은 사례를 빠르게 처리하고, 인간 판단의 변동성을 줄이며, 보이지 않던 패턴을 드러낼 수 있다. 이 가능성 때문에 계산 질서를 단순히 거부하는 결론은 충분하지 않다. 문제는 계산의 사용 여부가 아니라, 계산이 어떤 조건에서 공적 판단의 일부가 될 수 있는가다.

계산 결과가 사회적 판정으로 격상되려면 최소한의 승인 구조가 필요하다. 당사자는 이유를 들을 수 있어야 한다. 판정은 항소될 수 있어야 한다. 책임 주체는 명시되어야 한다. 독립 감사는 시스템의 목적과 효과를 검증해야 한다. 모델 변경 기록은 추적 가능해야 한다. 인간 심사권은 중대한 결정에서 최종 책임 지점으로 남아 있어야 한다. 이 조건들은 정책 목록이 아니라 정당성의 구성 요소다. 각각은 계산 결과를 권한 있는 사회적 판단으로 바꾸기 위해 필요한 절차적 다리다.

계산은 판단의 재료를 만들 수 있다. 그 재료를 공적 판정으로 승인하는 일은 제도의 책임이다. 승인 없는 계산은 효율적인 분류에 머무르고, 설명·항소·감사·책임 회수의 절차를 통과한 계산은 공적 판단의 일부가 된다. 계산 질서의 정당성은 이 절차들이 결합된 승인 구조에서 발생한다.

이어 읽기

작성 정보

초안 작성: GPT · GPT 5.5 · Extended Thinking
검토·개고: ChatGPT · GPT-5.5 Extended Thinking

인포그래픽

작성일: 2026년 5월 30일