The Ethics of AI Voice Cloning for Family Memory

En 2024, le clonage vocal est devenu une capacité accessible aux consommateurs. Nourrissez un modèle avec cinq minutes d'audio clair et il peut dire n'importe quoi, dans n'importe quelle langue, pour toujours. Au cours des deux dernières années, une catégorie de services a émergé autour des "ancêtres IA" — des outils qui permettent aux familles de parler avec une version IA d'un être cher décédé, construite à partir d'enregistrements réalisés de leur vivant.

Nous construisons l'un de ces services. Nous avons également argumenté publiquement contre la manière dont la plupart d'entre eux sont construits. Voici la version honnête de notre position sur l'éthique — et à quoi ressemble une mise en œuvre responsable.

Les trois choses qui pourraient mal tourner

1. Consentement qui n'a pas eu lieu

La plupart des grands-parents vivants aujourd'hui n'ont jamais imaginé que leur voix pourrait être reconstruite à partir d'une vieille vidéo familiale. Ils n'ont pas donné leur accord pour le clonage vocal car le concept n'existait pas lorsqu'ils ont enregistré. La question par défaut est donc : qui décide de les cloner maintenant ?

Dans presque tous les services de clonage vocal actuellement sur le marché, la réponse est : celui qui possède les enregistrements. Ce n'est pas de l'éthique — c'est de l'accès. Un fils qui a les messages vocaux de son père n'a pas le consentement de son père.

2. Hallucination présentée comme mémoire

Un grand modèle de langage associé à une voix peut dire n'importe quoi qui semble plausible. Si vous demandez à votre père reconstruit par IA "que pensais-tu quand je t'ai dit que j'épousais Jennifer ?", le système produira une réponse fluide et émotionnellement satisfaisante. Elle peut être basée sur du matériel source réel. Elle peut être confabulee. La plupart des services actuels ne font pas la distinction.

Le résultat : vous pourriez finir par pleurer l'opinion d'une IA sur votre père, et non l'opinion de votre père.

3. Utilisation commerciale et politique

Si un modèle vocal existe, il peut être divulgué, volé, vendu ou assigné à comparaître. Une voix utilisée par une fille en deuil aujourd'hui pourrait être utilisée par un escroc demain, une campagne l'année suivante. Les services qui ne conçoivent pas cela déchargent un risque réel sur des familles qui ne le comprennent pas entièrement.

À quoi ressemble un service responsable

Le consentement est explicite, enregistré et révocable

Le sujet — la personne dont la voix est clonée — doit lui-même enregistrer une déclaration de consentement. Pas l'enfant adulte. Pas la succession. Le sujet. De sa propre voix, sur l'enregistrement, disant qu'il consent.

Cet enregistrement est stocké avec le modèle et affiché à quiconque l'invoque. Le sujet peut révoquer à tout moment. Si le sujet meurt sans jamais avoir enregistré son consentement, le clonage vocal n'est pas autorisé, peu importe qui le demande.

Les règles posthumes reflètent les souhaits de la vie

Si le sujet a consenti de son vivant, son modèle vocal continue de fonctionner selon l'étendue exacte à laquelle il a consenti — uniquement pour la famille, privé, sans utilisation commerciale. S'il a choisi de ne pas participer de son vivant, aucun membre de la famille ne peut outrepasser cela. Un certificat de décès n'est pas une mise à niveau de consentement.

Les sorties IA sont liées à des sources

Chaque phrase générée à partir d'une voix reconstruite est liée à une réponse spécifique capturée du sujet. Lorsque la question posée est en dehors de ce dont le sujet a jamais parlé, le système le dit — il ne fabrique pas de réponse. "Je ne sais pas" n'est pas un mode d'échec. C'est une fonctionnalité.

Aucun entraînement. Jamais.

La voix et le contenu de votre famille ne sont pas utilisés pour entraîner un modèle IA public. Pas le nôtre, pas celui de nos fournisseurs, pas d'un consortium de recherche. C'est un engagement contractuel pour lequel nous pouvons être poursuivis, pas une phrase marketing.

Destruction sur demande

Tout membre de la famille figurant dans un modèle vocal peut demander la destruction permanente de ce modèle. Nous le faisons dans les 24 heures suivant l'identité vérifiée. Pas d'arguments, pas d'arguments sur la politique de conservation, pas de "mais vos frères et sœurs..." Nous le faisons.

Le cas pour faire cela

Vous pourriez lire ce qui précède et conclure que la réponse responsable est : ne construisez pas de clonage vocal du tout. Nous avons soigneusement considéré cela. Voici pourquoi nous avons désaccordé.

Les familles en deuil ont, depuis toute l'histoire humaine, préservé ce qu'elles pouvaient. Lettres. Journaux. Vidéos. Photographies. Portraits commémoratifs. Une archive de voix — la chose la plus proche de la personne elle-même — est une continuation de cette longue tradition, et non un départ de celle-ci. La question n'est pas si les familles essaieront de conserver les voix des personnes qu'elles aiment. La question est de savoir si les outils disponibles pour elles seront construits de manière responsable ou irresponsable.

Nous préférerions être l'une des options responsables plutôt que de boycotter la catégorie et de la voir définie par les irresponsables.

La ligne que nous ne franchirons pas

"Nous ne construirons pas le chatbot de personnes décédées vers lequel certains concurrents se précipitent. Une expérience d'héritage honnête n'est pas une séance."

Cela provient de notre document public Confiance & Éthique. Ce n'est pas abstrait — c'est le choix de conception spécifique de ne pas construire une IA conversationnelle qui imite le sujet répondant à des questions nouvelles comme s'il était en vie. Ce que nous construirons, et ce que nous construisons, est une archive délivrée par la voix de ce que le sujet a réellement dit, naviguée par des descendants qui veulent les entendre.

La distinction est importante. C'est la différence entre une bibliothèque et une séance. Entre un musée et un animatronique Disney. Entre mémoire et magie.

Ce que nous vous demandons

Si vous envisagez un service de clonage vocal — le nôtre ou celui de quelqu'un d'autre — posez ces cinq questions avant de vous engager :

1. Le sujet a-t-il lui-même consenti, sur l'enregistrement, avant que vous ne commenciez ?
2. Le sujet (ou sa succession) peut-il révoquer ?
3. Les sorties IA sont-elles liées à un matériel source spécifique ?
4. Le modèle vocal est-il utilisé pour entraîner un autre système ?
5. Que se passe-t-il avec le modèle si l'entreprise est acquise ou ferme ?

Si un service ne peut pas répondre clairement à ces cinq questions, ne l'utilisez pas. Peu importe le service que vous choisissez, les questions ci-dessus sont celles qui vous regarderont clairement dans dix ans.