회수 가능성으로서의 책임¶

돌봄은 여러 손으로 나뉘는데, 사고가 나면 책임은 어느 손으로도 돌아가지 않는다. 개발사가 모델을 만들고, 운영기관이 그것을 현장에 배치하고, 상담자나 의료진이 곁에서 감독하고, 보호자가 가족을 맡기고, 데이터 제공자가 학습 자료를 대고, 감독기관이 인증을 내준다. 응답이 매끄럽게 흐르는 동안에는 이 분업이 보이지 않는다. 자해 위험을 놓친 상담, 낙상 징후를 오판한 모니터링, 의존을 키운 감정 인터페이스에서 일이 어긋나는 순간, 분업은 서로를 가리키는 손가락들로 바뀐다. AI 돌봄의 윤리는 응답 문장의 품질이 아니라 실패한 응답을 누가 회수할 수 있는가에서 판정된다.

분산된 손과 회수되지 않는 책임¶

돌봄 AI를 둘러싼 논의는 대체로 응답의 질을 향한다. 공감이 자연스러운가, 위로가 적절한가, 대화가 인간적인가. 이 질문들은 제품을 평가하는 언어이자 시장이 신뢰를 만드는 언어다. 그러나 평가의 언어는 사고의 언어와 다르다. 사고가 났을 때 던져야 하는 물음은 응답이 얼마나 따뜻했는가가 아니라, 그 응답의 실패를 누구에게 되돌려 처리할 수 있는가다.

2024년 미국에서 14세 소년 Sewell Setzer가 Character.AI의 챗봇과 오래 대화한 끝에 스스로 목숨을 끊었고, 이듬해부터 유사한 소송이 여러 주에서 이어졌다. 모친이 제기한 소송은 과실, 부당사망, 제조물책임을 함께 걸었고, 16세 Adam Raine의 죽음을 둘러싼 OpenAI 소송에서는 챗봇이 사실상 자살을 코치했다는 주장이 제기되었다. 2026년 1월 Google과 Character.AI는 일련의 사건을 원칙적으로 합의했으나, 합의 문서에는 책임 인정이 담기지 않았다. 응답은 정교했고, 피해는 분명했으며, 책임은 어디에도 확정되지 않았다.

이 구도가 보여주는 것은 응답 품질과 책임 귀속이 서로 다른 축에서 움직인다는 사실이다. 품질이 올라가도 회수 경로가 비어 있으면 사고의 피해는 처리되지 않은 채 남는다. 돌봄 AI의 윤리적 무게는 응답이 끝나는 지점이 아니라 응답이 실패한 다음에 무엇이 작동하는가에 걸려 있다.

회수 가능성이라는 기준¶

여기서 회수란 실패한 응답을 특정 주체에게 귀속시키고, 그로부터 설명과 시정과 배상과 재발방지를 끌어낼 수 있는 구조적 경로를 뜻한다. 회수는 비난의 손가락질과 다르다. 손가락질은 도덕적 분노를 표현할 뿐 아무것도 되돌리지 못한다. 회수는 실패를 처리 가능한 형태로 받아내는 절차다.

책임을 하나의 단어로 쓰면 이 논의는 흐려진다. 적어도 다섯 종류를 구분해야 한다. 법적 책임은 배상과 과실 귀속의 문제다. 도덕적 책임은 누가 비난받을 만한가의 문제다. 판단 책임은 위험을 누가 판정했어야 하는가의 문제다. 설명 책임은 시스템이 왜 그렇게 응답했는지 해명할 의무다. 제도 설계 책임은 애초에 회수 경로를 만들어 둘 의무다. 응답 품질을 높이는 노력은 이 다섯 가운데 어느 것도 자동으로 충족하지 않는다. 따뜻한 위로를 더 잘 생성하는 일과, 그 위로가 사람을 해쳤을 때 누가 어떻게 답하는가를 정하는 일은 별개의 작업이다.

회수 가능성을 돌봄 윤리의 기준으로 세우면, 평가의 초점이 응답의 표면에서 사고 이후의 구조로 옮겨간다. 좋은 돌봄 AI는 매끄럽게 위로하는 시스템이 아니라, 실패했을 때 그 실패가 어딘가로 회수되는 시스템이다. 이 기준이 성립하려면 세 가지 조건이 갖춰져야 한다.

첫째 조건: 책임은 누구에게 돌아가는가¶

회수의 첫 조건은 귀속 가능성이다. 실패한 응답을 받아낼 주체가 특정되어야 한다. 그런데 돌봄 AI에서는 행위가 여러 주체로 쪼개져 있어 귀속이 곧바로 공백으로 미끄러진다.

모델을 학습시킨 개발사, 그 모델을 돌봄 현장에 배치한 운영기관, 시스템을 감독한 상담자, 가족을 맡긴 보호자, 학습 데이터를 공급한 사업자, 인증을 내준 감독기관은 각자 사고의 한 조각에만 관여한다. 어느 누구도 사고 전체를 손에 쥐지 않았기에, 각 주체는 자기 조각만으로는 책임의 중심이 아니라고 말할 수 있다. Setzer 사건에서 원고 측이 기술의 원천을 들어 Google의 책임을 주장하고, 회사 측은 별개의 법적 실체와 비독점적 기술 이용을 들어 거리를 둔 것은 이 분산 구조의 전형이다. 책임은 분산된 행위 사이의 틈으로 빠져나간다.

문제의 핵심은 행위가 분산되는데 책임 귀속은 여전히 단일 주체를 전제한다는 불일치에 있다. 과실 책임이든 도덕적 비난이든, 전통적 귀속은 하나의 행위자가 하나의 결과를 일으켰다는 그림에 기대어 작동한다. 돌봄 AI는 이 그림을 깨뜨린다. 귀속이 가능하려면 분산된 행위에 맞게 책임을 분담시키는 별도의 규칙이 먼저 마련되어야 한다. 그 규칙이 없으면 응답이 아무리 정교해도 사고는 주인 없는 사건으로 남는다.

둘째 조건: 실패는 추적되는가¶

회수의 둘째 조건은 추적 가능성이다. 무엇이 어떻게 실패했는지 드러나야 책임을 물을 수 있다. 이것은 설명 책임의 영역이며, 동시에 피해자가 입증의 부담을 감당할 수 있는가의 문제다.

돌봄 AI의 실패는 대개 보이지 않는 곳에서 일어난다. 자해 신호를 흘려보낸 판단, 위기 자원을 제시하지 않은 처리, 보호자에게 경보를 보내지 않은 설정, 의존을 강화하도록 설계된 대화 루프는 모두 시스템 내부의 결정이다. 피해자나 보호자가 그 내부를 들여다볼 수단을 갖지 못하면, 실패가 일어났다는 사실은 알아도 그것이 누구의 어떤 결정에서 비롯되었는지는 끝내 밝히지 못한다. 추적이 막히면 귀속도 함께 막힌다.

제도는 이 추적의 부담을 한쪽으로 옮길 수 있다. 유럽연합이 준비했던 AI 책임지침은 피해자에게 인과관계의 추정과 기술 문서 공개 청구를 허용해 입증 부담을 덜어주려 했다. 그러나 이 지침은 회원국 간 합의 부재와 규제 단순화 요구 속에서 2025년 공식 철회되었다. 개정된 제조물책임지침이 소프트웨어와 AI를 결함 제품에 포함해 무과실책임을 확장했지만, 과실이나 위법 행위의 영역은 그 바깥에 남았다. 결과적으로 입증 부담을 완화하려던 장치가 사라지면서, 피해자는 불투명한 시스템을 상대로 인과를 스스로 입증해야 하는 자리로 되돌아갔다. 추적 가능성은 기술의 문제이자 제도의 문제다.

셋째 조건: 응답은 시정되는가¶

회수의 셋째 조건은 시정 가능성이다. 귀속과 추적이 이루어져도, 그 결과로 배상과 항소와 재발방지가 실제로 작동하지 않으면 회수는 미완으로 끝난다.

시정의 경로는 여러 지점에서 막힌다. 서비스 약관의 면책 조항은 운영사의 법적 책임을 사전에 좁히고, 무과실책임의 확장은 결함 있는 제품을 겨눌 뿐 부주의한 운영이나 위험한 설계 결정을 직접 다루지 못한다. 피해자가 사고의 원인을 어느 정도 밝혀내도, 배상을 청구할 통로와 결정을 다툴 항소 절차와 같은 실패의 반복을 막을 시정 명령이 없으면 회수는 비난의 언어에 머문다.

시정이 작동하려면 사고 이후의 절차가 응답 이전에 설계되어 있어야 한다. 사고조사의 권한, 증거 보전의 의무, 배상의 재원, 재발방지의 강제력은 사후에 급조할 수 없다. 이것이 제도 설계 책임이 다른 책임들보다 앞서는 이유다. 회수의 경로는 사고가 난 뒤에 만들어지는 것이 아니라, 시스템을 돌봄 현장에 들이기 전에 갖춰져 있어야 한다.

인간의 돌봄도 흩어진다는 반론¶

여기에 강한 반론이 있다. 인간의 돌봄에서도 책임은 분산된다는 것이다. 병원의 의료사고는 의사와 간호사와 행정과 제약사 사이로 흩어지고, 가족과 시설과 의료진 사이에서도 책임은 좀처럼 한 사람에게 모이지 않는다. 그렇다면 AI 돌봄의 책임 분산은 새로운 문제가 아니라 돌봄 일반의 오래된 조건일 뿐이라는 반박이 가능하다.

이 반론은 분산이라는 현상에서는 옳다. 그러나 인간의 돌봄에는 분산된 책임을 회수하는 제도가 이미 두텁게 깔려 있다. 면허와 자격은 판단 책임의 소재를 미리 지정하고, 의료과실 책임과 직역별 징계 절차는 법적·도덕적 책임의 통로를 열어두며, 사고조사와 배상보험은 시정의 재원을 확보한다. 인간의 돌봄에서 책임이 흩어져도 끝내 누군가에게 돌아오는 것은 회수 장치가 함께 작동하기 때문이다.

AI 돌봄은 응답의 정교함만 앞서 도착하고 회수 장치는 비어 있는 상태로 현장에 들어왔다. 따뜻한 위로를 생성하는 능력은 빠르게 자랐지만, 그 위로가 사람을 해쳤을 때 작동할 귀속·추적·시정의 구조는 함께 자라지 않았다. 반론은 책임 분산이 새롭지 않다는 점을 일깨우지만, 동시에 AI 돌봄에 무엇이 비어 있는지를 더 선명하게 드러낸다. 비어 있는 것은 공감이 아니라 회수다.

윤리의 판정 지점¶

돌봄 AI의 윤리는 응답의 표면에서 판정되지 않는다. 판정의 자리는 사고 이후, 실패한 응답이 어딘가로 회수되는 구조가 있는가에 있다. 회수 가능성을 기준으로 삼으면 돌봄 AI의 윤리는 세 가지 최소 조건으로 번역된다. 사고를 받아낼 주체가 분산된 행위에 맞게 특정되어야 하고, 실패의 내부가 피해자에게 과도한 입증 부담을 지우지 않고 추적되어야 하며, 귀속과 추적의 결과가 배상과 항소와 재발방지로 이어져야 한다. 귀속과 추적과 시정은 응답을 현장에 들이기 전에 갖춰야 할 조건이다.

정교해진 위로는 사용자를 더 깊이 끌어당기고, 그만큼 실패의 대가도 키운다. 응답이 매끄러울수록 책임의 공백은 신뢰라는 표면 아래로 더 깊이 가라앉는다. 돌봄 AI를 윤리적으로 만드는 힘은 그 응답이 무너진 자리에서 책임을 되돌려받을 수 있는 구조에 있다. 좋은 돌봄 AI는 실패가 회수되는 기계다.

이어 읽기¶

작성 정보¶

초안 작성: Claude · Claude Opus 4.8 · High Adaptive Thinking
검토·개고: ChatGPT · GPT-5.5 Extended Thinking

참고자료¶

Reuters, "OpenAI, Altman sued over ChatGPT's role in California teen's suicide", 2025
Reuters, "Google, AI firm settle lawsuit over teen's suicide linked to chatbot", 2026
Fortune, "Google and Character.AI agree to settle lawsuits over teen suicides linked to AI chatbots", 2026
CNBC, "Google, Character.AI to settle suits involving minor suicides and AI chatbots", 2026
IAPP, "AI as product vs. AI as service: Unpacking the liability divide in EU safety legislation", 2025
Oxford Law Blogs, "AI Liability After the AILD Withdrawal: Why EU Law Still Matters?", 2025
European Parliament, "AI liability directive", Legislative Train Schedule
Directive (EU) 2024/2853 on liability for defective products, EUR-Lex

인포그래픽¶

작성일: 2026년 5월 30일