2024년, 음성 복제 기술이 소비자에게 제공되었습니다. 깨끗한 오디오 5분을 모델에 제공하면, 그 모델은 영원히 어떤 언어로든 무엇이든 말할 수 있습니다. 그 이후 2년 동안, "AI 조상"이라는 서비스 카테고리가 등장했습니다. 이는 가족들이 고인의 AI 버전과 대화할 수 있게 해주는 도구로, 생전의 녹음을 기반으로 만들어졌습니다.
우리는 이러한 서비스 중 하나를 개발했습니다. 또한 대부분의 서비스가 어떻게 만들어지고 있는지에 대해 공개적으로 반대해왔습니다. 이것이 우리가 윤리에 대해 어떻게 생각하는지, 그리고 책임 있는 구현이 어떤 모습인지에 대한 솔직한 버전입니다.
문제가 될 수 있는 세 가지
1. 이루어지지 않은 동의
현재 살아있는 대부분의 조부모는 자신의 목소리가 오래된 홈 비디오에서 재구성될 수 있다는 것을 상상하지 못했습니다. 그들은 음성 복제에 동의하지 않았습니다. 왜냐하면 그들이 녹음할 당시에는 그 개념이 존재하지 않았기 때문입니다. 그러므로 기본 질문은: 이제 누가 그들을 복제할지 결정할 수 있을까요?
현재 시장에 있는 거의 모든 음성 복제 서비스에서 그 대답은: 녹음을 가진 사람입니다. 이는 윤리가 아니라 접근성입니다. 아버지의 음성 메시지를 가진 아들은 아버지의 동의를 얻지 못한 것입니다.
2. 기억으로 둔갑한 환각
음성과 연결된 대형 언어 모델은 그럴듯하게 들리는 어떤 것이든 말할 수 있습니다. AI로 재구성된 아버지에게 "내가 제니퍼와 결혼한다고 했을 때, 어떻게 생각했어요?"라고 물으면, 시스템은 유창하고 감정적으로 만족스러운 대답을 생성합니다. 이는 실제 자료를 기반으로 할 수도 있고, 허구일 수도 있습니다. 현재의 대부분 서비스는 이를 구별하지 않습니다.
결과적으로: 당신은 아버지의 의견이 아닌 AI의 아버지에 대한 의견에 슬퍼할 수 있습니다.
3. 상업적 및 정치적 사용
음성 모델이 존재한다면, 유출되거나 도난당하거나 판매되거나 소환될 수 있습니다. 오늘날 슬퍼하는 딸의 목소리가 내일은 사기꾼에 의해 사용될 수 있고, 그 다음 해에는 캠페인에 사용될 수 있습니다. 이를 고려하지 않은 서비스는 이를 완전히 이해하지 못하는 가족에게 실제 위험을 전가하고 있습니다.
책임 있는 서비스의 모습
동의는 명시적이며, 기록되고, 철회 가능합니다
주체 — 음성이 복제되는 사람 — 는 스스로 동의 성명을 녹음해야 합니다. 성인 자녀가 아니라, 유산도 아닙니다. 주체가 자신의 목소리로, 기록에 남겨 동의한다고 말해야 합니다.
그 녹음은 모델과 함께 저장되며, 이를 호출하는 누구에게나 표시됩니다. 주체는 언제든지 철회할 수 있습니다. 주체가 동의를 기록하지 않고 사망한 경우, 누가 요청하더라도 음성 복제는 허용되지 않습니다.
사후 규칙은 생전의 소망을 반영합니다
주체가 생전 동의한 경우, 그들의 음성 모델은 그들이 동의한 정확한 범위에 따라 계속 작동합니다 — 가족만, 비공식, 상업적 사용 금지. 생전 동의하지 않았다면, 어떤 가족 구성원도 이를 무시할 수 없습니다. 사망 증명서는 동의의 업그레이드가 아닙니다.
AI 출력은 출처와 연결됩니다
재구성된 음성에서 생성된 모든 문장은 주체의 특정 응답에 연결됩니다. 질문이 주체가 이야기한 적이 없는 내용이라면, 시스템은 그렇게 말합니다 — 답변을 만들어내지 않습니다. "모르겠어요"는 실패 모드가 아닙니다. 이는 기능입니다.
훈련은 없습니다. 절대.
당신의 가족의 목소리와 콘텐츠는 어떤 공공 AI 모델을 훈련하는 데 사용되지 않습니다. 우리의 것도, 우리의 공급업체의 것도, 연구 컨소시엄의 것도 아닙니다. 이는 우리가 소송을 당할 수 있는 계약적 약속이지, 마케팅 문구가 아닙니다.
요청 시 파기
음성 모델에 포함된 어떤 가족 구성원도 해당 모델의 영구 파기를 요청할 수 있습니다. 우리는 신원이 확인된 후 24시간 이내에 이를 수행합니다. 논쟁 없이, 보존 정책 논쟁 없이, "하지만 당신의 형제자매는…" 같은 말 없이, 우리는 이를 수행합니다.
이런 일을 하는 이유
위의 내용을 읽고 책임 있는 대답이 음성 복제를 전혀 만들지 말라는 것이라고 결론지을 수 있습니다. 우리는 이를 신중히 고려했습니다. 우리가 반대하는 이유는 다음과 같습니다.
슬픔에 잠긴 가족들은 인류 역사 전반에 걸쳐 가능한 것들을 보존해왔습니다. 편지, 일기, 비디오, 사진, 기념 초상화. 목소리의 기록 — 그 사람과 가장 가까운 것 — 은 그 오랜 전통의 연속이지, 이탈이 아닙니다. 질문은 가족들이 사랑하는 사람들의 목소리를 지키려 할 것인가입니다. 질문은 그들에게 제공되는 도구가 책임 있게 만들어질 것인지, 아니면 무책임하게 만들어질 것인지입니다.
우리는 무책임한 옵션들에 의해 정의되는 것을 지켜보는 것보다, 책임 있는 옵션 중 하나가 되고 싶습니다.
우리가 넘지 않을 선
"우리는 경쟁자들이 향해 달려가는 고인 챗봇을 만들지 않을 것입니다. 진정한 유산 경험은 세안이 아닙니다."
이는 우리의 공개 신뢰 및 윤리 문서에서 발췌한 내용입니다. 이는 추상적이지 않습니다 — 이는 주체가 살아 있을 때와 같은 방식으로 새로운 질문에 대답하는 대화형 AI를 만들지 않겠다는 구체적인 디자인 선택입니다. 우리가 만들고 있는 것, 그리고 만드는 것은 주체가 실제로 말한 내용을 담은 음성 기반 아카이브로, 그들을 듣고 싶어하는 후손들이 탐색할 수 있습니다.
이 구분은 중요합니다. 이는 도서관과 세안의 차이입니다. 박물관과 디즈니 애니메트로닉의 차이입니다. 기억과 마법의 차이입니다.
우리가 여러분에게 요청하는 것
어떤 음성 복제 서비스 — 우리의 것이든 다른 누구의 것이든 — 를 고려하고 계신다면, 결정을 내리기 전에 다음 다섯 가지 질문을 해보세요:
- 주체가 스스로 동의했나요, 기록으로 남겼나요, 시작하기 전에?
- 주체(또는 그들의 유산)가 철회할 수 있나요?
- AI 출력은 특정 출처 자료와 연결되어 있나요?
- 음성 모델이 다른 시스템의 훈련에 사용되나요?
- 회사가 인수되거나 폐업하면 모델은 어떻게 되나요?
서비스가 다섯 가지 질문에 모두 명확하게 대답하지 못한다면, 사용하지 마세요. 어떤 서비스를 선택하든, 위의 질문들은 10년 후에 여러분을 분명히 바라볼 것입니다.