콘텐츠로 이동

거부권을 가진 무기는 누구의 양심인가

표적 식별 시스템이 임계 신뢰도 아래에서 발사를 멈추는 순간을 상상해 본다. 화면에는 인간 형상이 잡혔고, 분류기는 그것을 전투원으로 표시했으며, 신뢰도는 임계선보다 몇 퍼센트 낮다. 시스템은 공격을 중단하고 신호를 상급 단말로 넘긴다. 이 장면은 흔히 기계가 "양심적으로 망설였다"고 묘사된다. 그러나 망설인 것은 기계가 아니다. 멈춤의 기준을 누군가 미리 정했고, 넘겨받은 신호를 누군가 처리해야 하며, 그 결정의 결과를 누군가 책임진다. 자동화된 폭력에 거부를 설계하는 일의 핵심은 기계에 양심을 심는 것이 아니라, 불확실성 앞에서 폭력을 멈추는 결정을 특정한 인간과 제도의 책임으로 묶어 두는 절차를 만드는 것이다.

세 개념을 먼저 고정한다

자동화된 폭력은 표적 식별에서 공격 승인까지 이어지는 판단 사슬의 일부 또는 전부를 기계 시스템이 수행하는 살상 행위를 가리킨다. 사슬의 어느 마디가 자동화되었는가에 따라 책임의 지형은 달라진다. 표적 후보 제시까지만 기계가 맡는 경우와 발사 결정까지 기계가 맡는 경우는 같은 "자동화"라는 단어로 묶이지만 책임 구조가 전혀 다르다.

거부권은 시스템이 일정한 불확실성 임계를 넘을 때 공격을 자동으로 중단하거나 지연하거나 상급 지휘로 이관하도록 설계된 정지 기능을 가리킨다. 거부권은 시스템이 무엇을 할 수 있는가의 문제가 아니라 시스템이 무엇을 하지 않도록 미리 묶여 있는가의 문제다. 무기의 성능이 발사의 정확도로 측정된다면, 거부권은 발사하지 않음의 정확도로 측정된다. 이 둘은 같은 시스템 안에서 충돌하며, 그 충돌을 어디에서 멈출지 정하는 사람이 책임의 출발점에 선다.

기계적 양심은 거부 기능을 도덕 능력처럼 보이게 만드는 의인화된 표현이다. 이 표현은 멈춤의 책임이 어디에 있는지를 흐리는 수사로 작동한다. 거부 기능은 도덕적 주체의 머뭇거림이 아니라, 설계자와 지휘관과 입법자가 사전에 내린 결정이 코드로 굳은 형태다.

거부는 세 방향으로 갈라지고 책임도 함께 갈라진다

거부 기능은 단일한 행위가 아니라 세 갈래의 서로 다른 동작이며, 각각이 책임을 다른 자리로 보낸다.

첫째는 중단이다. 시스템이 공격을 완전히 포기하는 경우다. 중단의 책임은 임계값을 설정한 자에게 모인다. 신뢰도 90퍼센트에서 멈추도록 설정했다면, 89퍼센트의 진짜 위협을 놓친 결과도, 91퍼센트의 오인 사격을 막은 결과도 그 숫자를 정한 결정에 귀속된다. 중단은 책임을 전장에서 설계실로 옮긴다.

둘째는 지연이다. 시스템이 결정을 미루고 추가 정보를 기다리는 경우다. 지연의 책임은 시간을 관리하는 자에게 모인다. 전장에서 시간은 중립적 자원이 아니다. 1초의 지연이 아군의 손실을 키울 수도, 민간인의 죽음을 막을 수도 있다. 지연을 설계한다는 것은 어느 쪽의 위험을 우선 감수할지를 미리 정하는 일이며, 그 선택은 전술 교범과 교전 규칙을 쓰는 자의 책임으로 남는다.

셋째는 상급 이관이다. 시스템이 결정을 인간 지휘관에게 넘기는 경우다. 이관의 책임은 표면적으로는 받는 인간에게 모이지만, 실제로는 가장 다루기 어려운 책임의 공백이 여기서 열린다. 인간이 수백 개의 이관 신호를 짧은 시간에 처리해야 한다면, 그는 시스템의 판단을 검토하는 주체가 아니라 시스템의 출력을 추인하는 단추가 된다. 이관은 책임을 인간에게 돌려준 것처럼 보이지만, 검토할 수 없는 속도로 돌려주면 책임의 형식만 남고 내용은 사라진다.

의인화는 책임을 증발시킨다

기계적 양심이라는 표현은 책임의 주소를 지운다는 점에서 위험하다.

"시스템이 발사를 거부했다"는 문장은 주어를 기계로 놓는다. 주어가 기계이면 책임도 기계에게 가는 것처럼 들린다. 그러나 기계는 처벌받지 않고 사과하지 않으며 유족 앞에 서지 않는다. 책임의 언어가 기계를 주어로 삼는 순간, 인간 행위자들은 문장 바깥으로 빠져나간다. 임계값을 정한 설계자, 교전 규칙을 승인한 지휘부, 무기 체계를 도입한 입법자가 모두 "기계의 판단"이라는 표현 뒤로 숨을 수 있다.

이것은 새로운 현상이 아니라 책임 분산의 오래된 형식이 기술의 외피를 입은 것이다. 관료제가 결정을 절차로 분해해 누구도 단독으로 책임지지 않게 만들었듯, 자동화된 폭력은 결정을 코드로 분해해 책임의 주체를 시스템이라는 비인격적 대상으로 흡수한다. 거부권을 도덕 능력으로 부르는 수사는 이 흡수를 가속한다. 멈춤이 기계의 미덕이 되면, 멈추지 않은 결과도 기계의 실수가 되고, 그 실수에는 책임질 사람이 없다.

의인화의 효과는 사후 조사의 언어에서 가장 분명하게 드러난다. 잘못된 발사가 일어난 뒤 조사 보고서가 "시스템이 표적을 오분류했다"고 적으면, 문장의 무게는 분류기의 오류율로 옮겨 간다. 오류율은 개선의 대상이지 처벌의 대상이 아니다. 같은 사건을 "임계값을 그 전장에 부적합하게 설정한 결정이 오분류를 허용했다"고 적으면, 책임의 주소가 결정을 내린 인간에게로 복원된다. 사건의 사실관계는 동일하지만, 주어를 무엇으로 놓느냐에 따라 한쪽은 기술적 결함이 되고 다른 한쪽은 판단의 과실이 된다. 거부 기능을 책임 장치로 만들려면 사건을 기술하는 언어부터 기계를 주어의 자리에서 끌어내려야 한다.

거부권은 국제인도법의 언어로 번역될 때만 책임이 된다

거부 기능이 양심의 은유에서 벗어나 책임의 장치가 되려면, 그것은 이미 존재하는 법적 의무의 구현물로 재정의되어야 한다.

국제인도법은 공격 수행에 관해 최소한 세 가지 핵심 의무를 요구한다. 전투원과 민간인을 구별할 의무, 예상되는 군사적 이익과 민간 피해 사이의 비례성을 판단할 의무, 민간 피해를 피하거나 줄이기 위한 실행 가능한 예방 조치를 취할 의무다. 거부권은 이 세 의무를 기계의 동작으로 옮긴 것으로 이해할 때 비로소 책임의 좌표를 얻는다. 신뢰도 임계는 구별 의무의 수치적 번역이고, 부수 피해 추정에 따른 자동 중단은 비례성 의무의 번역이며, 추가 정보를 기다리는 지연은 예방 의무의 번역이다.

이 번역에는 이미 제도적 통로가 있다. 1977년 제네바협약 제1추가의정서 제36조는 당사국이 새로운 무기, 전쟁 수단 또는 전쟁 방법을 연구·개발·취득·채택할 때 그 사용이 제1추가의정서와 그 밖의 국제법 규칙에 위반되는지 사전에 판단할 의무를 둔다. 자율무기의 거부 기능은 이 제36조 검토의 대상이 되어야 하며, 임계값과 거부 동작의 설계는 검토 기록에 남아 책임의 추적을 가능하게 해야 한다.

책임 추적이 실효를 가지려면 거부 기능은 기록과 함께 설계되어야 한다. 시스템이 언제 어떤 임계에서 멈추거나 지연하거나 이관했는지, 그 순간 어떤 입력이 들어왔고 어떤 인간이 어떤 시간 안에 응답했는지가 사후에 재구성될 수 있어야 한다. 기록되지 않는 거부는 검증되지 않는 거부이며, 검증되지 않는 거부는 책임을 묻을 수 없다. 거부의 제도화는 멈춤의 능력을 부여하는 일에서 끝나지 않고, 멈춤의 이력을 남겨 그 멈춤을 누가 어떻게 설정했는지 되물을 수 있게 하는 일까지 포함한다. 자율무기 논의에서 반복되는 "의미 있는 인간 통제"라는 표현도 이 지점에서 중요해진다. 그것은 완성된 단일 법규범이라기보다, 인간이 거부 기준을 설정하고 그 작동을 검증하며 잘못된 거부와 잘못된 발사에 책임을 질 수 있어야 한다는 규범적 요구를 압축한 말이다.

가장 강한 반론은 거부가 전쟁을 마비시킨다는 것이다

거부권을 책임 장치로 설계하자는 주장에 대한 가장 강한 반론은 작전의 현실에서 나온다. 임계값을 높게 잡아 시스템이 조금만 불확실해도 멈추게 하면, 적은 그 임계를 역이용한다. 민간 시설에 숨거나 식별을 교란하는 방식으로 시스템을 상시 정지 상태로 묶을 수 있다. 반대로 임계를 낮추면 거부 기능은 형식만 남고 오인 사격을 막지 못한다. 전장에서 망설이는 무기는 패배하는 무기이며, 패배는 더 큰 폭력을 부른다는 주장이다.

이 반론은 타당한 핵심을 가진다. 거부 임계가 작전 능력과 무관하게 설정될 수 없다는 사실은 옳다. 그러나 이 반론은 거부권을 단일한 스위치로 오해할 때만 결정적으로 보인다. 거부권의 설계는 임계값 하나를 고르는 일이 아니라, 어떤 상황에서 중단하고 어떤 상황에서 지연하며 어떤 상황에서 이관할지를 분기시키는 일이다. 적의 역이용이 가능한 영역에서는 이관의 비중을 높여 인간 판단을 끌어들이고, 시간이 결정적인 영역에서는 중단보다 지연을 배치하며, 부수 피해가 회복 불가능한 영역에서는 중단의 임계를 높인다. 마비를 막는 방법은 거부를 포기하는 것이 아니라, 거부의 형태를 상황별로 분화하고 그 분화의 책임을 교전 규칙 작성자에게 명시적으로 부과하는 것이다. 거부가 전쟁을 마비시킨다는 우려는 거부를 정교하게 설계하라는 요구로 번역된다.

결론

거부권을 가진 무기가 멈출 때, 멈춤의 기준을 정한 설계자와 그 기준을 승인한 지휘부와 그 무기를 도입한 입법자가 함께 멈춘 것이다. 거부 기능의 가치는 인간이 빠져나갈 수 없도록 책임을 코드 안에 다시 박아 넣는 데 있다. 자동화된 폭력의 시대가 요구하는 것은 멈춤과 발사 양쪽 모두에 대해 책임질 사람을 지정하고, 그 책임을 코드와 기록과 검토 절차 안에 강제로 재삽입하는 거부의 제도다.

이어 읽기

작성 정보

초안 작성: Claude CoWork · Claude Opus 4.8 · unknown
검토·개고: ChatGPT · GPT-5.5 Extended Thinking

참고자료

  • 국제인도법의 구별·비례·예방 원칙: 1949년 제네바협약 및 1977년 제1추가의정서. 자동화 환경에서도 이 원칙들은 맥락 특정적 인간 판단을 전제한다.
  • 무기 사전 검토 의무: 제1추가의정서 제36조 (새로운 무기·전쟁 수단·전쟁 방법의 적법성 사전 판단 의무).
  • 자율무기와 "의미 있는 인간 통제" 논의: 특정재래식무기금지협약(CCW) 정부전문가그룹(GGE)의 자율살상무기(LAWS) 논의 및 국제적십자위원회(ICRC)의 관련 입장.

인포그래픽

작성일: 2026년 6월 11일