The Ethics of AI Voice Cloning for Family Memory

Em 2024, a clonagem de voz tornou-se uma funcionalidade acessível ao consumidor. Basta alimentar um modelo com cinco minutos de áudio sem ruídos para que ele possa dizer qualquer coisa, em qualquer idioma, para sempre. Nos dois anos que se seguiram, surgiu uma categoria de serviços em torno dos “antepassados de IA” — ferramentas que permitem às famílias conversar com uma versão de IA de um ente querido falecido, criada a partir de gravações feitas em vida.

Nós desenvolvemos um desses serviços. Também nos manifestamos publicamente contra a forma como a maioria deles está sendo desenvolvida. Esta é a versão honesta de nossa posição em relação à ética — e de como seria uma implementação responsável.

As três coisas que podem dar errado

1. Consentimento que não ocorreu

A maioria dos avós vivos hoje nunca imaginou que sua voz pudesse ser reconstruída a partir de um vídeo caseiro antigo. Eles não optaram pela clonagem de voz porque o conceito não existia quando gravaram. A pergunta que surge, então, é: quem decide se deve cloná-los agora?

Em quase todos os serviços de clonagem de voz atualmente no mercado, a resposta é: quem quer que tenha as gravações. Isso não é ética — é acesso. Um filho que tem as mensagens de voz do pai não tem o consentimento do pai.

2. Alucinação passada por memória

Um grande modelo de linguagem associado a uma voz pode dizer qualquer coisa que pareça plausível. Se você perguntar ao seu pai reconstruído por IA “o que você pensou quando eu te disse que ia me casar com a Jennifer?”, o sistema produzirá uma resposta fluente e emocionalmente satisfatória. Ela pode ser baseada em material de origem real. Pode ser inventada. A maioria dos serviços atuais não faz essa distinção.

O resultado: você pode acabar lamentando a opinião de uma IA sobre seu pai, e não a opinião do seu pai.

3. Uso comercial e político

Se um modelo de voz existe, ele pode vazar, ser roubado, vendido ou intimado judicialmente. Uma voz usada por uma filha em luto hoje pode ser usada por um golpista amanhã, ou em uma campanha no ano seguinte. Serviços que não são projetados para lidar com isso estão transferindo um risco real para famílias que não o compreendem totalmente.

Como é um serviço responsável

O consentimento é explícito, registrado e revogável

O sujeito — a pessoa cuja voz está sendo clonada — deve gravar pessoalmente uma declaração de consentimento. Não o filho adulto. Não os herdeiros. O sujeito. Com sua própria voz, em gravação, declarando que concorda.

Essa gravação é armazenada junto com o modelo e exibida a qualquer pessoa que o invoque. O sujeito pode revogar o consentimento a qualquer momento. Se o sujeito falecer sem nunca ter gravado o consentimento, a clonagem de voz não é permitida, independentemente de quem a solicite.

As regras póstumas refletem os desejos em vida

Se o sujeito consentiu em vida, seu modelo de voz continua a funcionar de acordo com o escopo exato que ele concordou — apenas para a família, privado, sem uso comercial. Se ele optou por não participar em vida, nenhum membro da família pode ignorar isso. Uma certidão de óbito não é uma atualização do consentimento.

Os resultados da IA estão vinculados à fonte

Cada frase gerada a partir de uma voz reconstruída está vinculada a uma resposta específica capturada do sujeito. Quando a pergunta feita está fora do que o sujeito já falou, o sistema diz isso — ele não inventa uma resposta. “Não sei” não é um modo de falha. É um recurso.

Sem treinamento. Nunca.

A voz e o conteúdo da sua família não são usados para treinar nenhum modelo público de IA. Nem o nosso, nem o de nossos fornecedores, nem o de um consórcio de pesquisa. Este é um compromisso contratual pelo qual podemos ser processados, não um slogan de marketing.

Destruição mediante solicitação

Qualquer membro da família que apareça em um modelo de voz pode solicitar a destruição permanente desse modelo. Fazemos isso em até 24 horas após a verificação da identidade. Sem discussões, sem argumentos sobre políticas de retenção, sem “mas seus irmãos...”. Nós fazemos isso.

A justificativa para fazer isso

Você pode ler o texto acima e concluir que a resposta responsável é: não criar clonagem de voz de forma alguma. Nós consideramos isso cuidadosamente. Eis por que discordamos.

Ao longo de toda a história da humanidade, famílias enlutadas preservaram o que podiam. Cartas. Diários. Vídeos. Fotografias. Retratos memoriais. Um arquivo de voz — a coisa mais próxima da própria pessoa — é uma continuação dessa longa tradição, não um afastamento dela. A questão não é se as famílias tentarão manter as vozes das pessoas que amam. A questão é se as ferramentas disponíveis para elas serão criadas de forma responsável ou irresponsável.

Preferimos ser uma das opções responsáveis a boicotar a categoria e assistir a ela ser definida pelas irresponsáveis.

A linha que não vamos cruzar

“Não vamos criar o chatbot de pessoas falecidas que alguns concorrentes estão correndo para desenvolver. Uma experiência honesta de legado não é uma sessão espírita.”

Isso está em nosso documento público de Confiança e Ética. Não é algo abstrato — é a escolha de design específica de não criar uma IA conversacional que se faça passar pelo falecido, respondendo a perguntas inéditas como se ele estivesse vivo. O que vamos criar, e o que criamos, é um arquivo com a voz do falecido, contendo o que ele realmente disse, acessado por descendentes que querem ouvi-lo.

A distinção é importante. É a diferença entre uma biblioteca e uma sessão espírita. Entre um museu e um animatrônico da Disney. Entre memória e magia.

O que pedimos a você

Se você está considerando qualquer serviço de clonagem de voz — o nosso ou de qualquer outra empresa —, faça estas cinco perguntas antes de se comprometer:

1. O próprio sujeito deu seu consentimento, por escrito, antes de você começar?
2. O sujeito (ou seus herdeiros) pode revogar o consentimento?
3. Os resultados da IA estão vinculados a um material de origem específico?
4. O modelo de voz é usado para treinar algum outro sistema?
5. O que acontece com o modelo se a empresa for adquirida ou encerrar suas atividades?

Se um serviço não puder responder a todas as cinco perguntas de forma clara, não o utilize. Independentemente do serviço que você escolher, as perguntas acima são aquelas que você vai se lembrar claramente daqui a dez anos.