The Ethics of AI Voice Cloning for Family Memory

En 2024, la clonación de voz se convirtió en una capacidad para consumidores. Alimenta un modelo con cinco minutos de audio limpio y puede decir cualquier cosa, en cualquier idioma, para siempre. En los dos años transcurridos desde entonces, ha surgido una categoría de servicios en torno a los "antepasados de IA": herramientas que permiten a las familias hablar con una versión de IA de un ser querido fallecido, construida a partir de grabaciones realizadas en vida.

Nosotros construimos uno de estos servicios. También hemos argumentado públicamente en contra de cómo se están construyendo la mayoría de ellos. Esta es la versión honesta de dónde nos encontramos sobre la ética — y cómo debería ser una implementación responsable.

Las tres cosas que podrían salir mal

1. Consentimiento que no ocurrió

La mayoría de los abuelos vivos hoy nunca imaginaron que su voz podría ser reconstruida a partir de un viejo video familiar. No optaron por la clonación de voz porque el concepto no existía cuando grabaron. La pregunta predeterminada, entonces, es: ¿quién decide si se les clona ahora?

En casi todos los servicios de clonación de voz actualmente en el mercado, la respuesta es: quien tenga las grabaciones. Eso no es ética — eso es acceso. Un hijo que tiene los mensajes de voz de su padre no tiene el consentimiento de su padre.

2. Alucinación presentada como memoria

Un modelo de lenguaje grande asociado a una voz puede decir cualquier cosa que suene plausible. Si le preguntas a tu padre reconstruido por IA "¿qué pensaste cuando te dije que me casaba con Jennifer?", el sistema producirá una respuesta fluida y emocionalmente satisfactoria. Puede basarse en material fuente real. Puede ser confabulada. La mayoría de los servicios actuales no distinguen.

El resultado: puedes terminar lamentando la opinión de una IA sobre tu padre, no la opinión de tu padre.

3. Uso comercial y político

Si existe un modelo de voz, puede ser filtrado, robado, vendido o citado. Una voz utilizada por una hija en duelo hoy podría ser utilizada por un estafador mañana, una campaña el año siguiente. Los servicios que no diseñan para esto están trasladando un riesgo real a las familias que no lo entienden completamente.

Cómo es un servicio responsable

El consentimiento es explícito, grabado y revocable

El sujeto — la persona cuya voz se está clonando — debe grabar una declaración de consentimiento. No el hijo adulto. No la herencia. El sujeto. En su propia voz, en el registro, diciendo que consiente.

Esa grabación se almacena con el modelo y se muestra a cualquiera que la invoque. El sujeto puede revocar en cualquier momento. Si el sujeto muere sin haber grabado nunca el consentimiento, la clonación de voz no está permitida, sin importar quién lo pida.

Las reglas póstumas reflejan los deseos de vida

Si el sujeto consintió durante su vida, su modelo de voz sigue funcionando de acuerdo con el alcance exacto al que accedió — solo para la familia, privado, sin uso comercial. Si optaron por no participar durante su vida, ningún miembro de la familia puede anular eso. Un certificado de defunción no es una actualización de consentimiento.

Las salidas de IA están vinculadas a fuentes

Cada oración generada a partir de una voz reconstruida está vinculada a una respuesta específica capturada del sujeto. Cuando la pregunta formulada está fuera de lo que el sujeto alguna vez habló, el sistema lo indica — no inventa una respuesta. "No lo sé" no es un modo de fallo. Es una característica.

Sin entrenamiento. Nunca.

La voz y el contenido de tu familia no se utilizan para entrenar ningún modelo de IA pública. Ni el nuestro, ni el de nuestros proveedores, ni el de un consorcio de investigación. Este es un compromiso contractual por el que podemos ser demandados, no una línea de marketing.

Destrucción a pedido

Cualquier miembro de la familia que aparezca en un modelo de voz puede solicitar la destrucción permanente de ese modelo. Lo hacemos dentro de las 24 horas de verificación de identidad. Sin discusiones, sin argumentos sobre políticas de retención, sin "pero tus hermanos…". Lo hacemos.

El caso por el que hacer esto

Podrías leer lo anterior y concluir que la respuesta responsable es: no construir la clonación de voz en absoluto. Consideramos esto cuidadosamente. Aquí está la razón por la que no estuvimos de acuerdo.

Las familias en duelo han preservado, a lo largo de toda la historia humana, lo que pueden. Cartas. Diarios. Videos. Fotografías. Retratos conmemorativos. Un archivo de voz — lo más cercano a la persona misma — es una continuación de esa larga tradición, no una desviación de ella. La pregunta no es si las familias intentarán conservar las voces de las personas que aman. La pregunta es si las herramientas disponibles para ellas se construirán de manera responsable o irresponsable.

Preferiríamos ser una de las opciones responsables que boicotear la categoría y ver cómo se define por las irresponsables.

La línea que no cruzaremos

"No construiremos el chatbot de personas fallecidas hacia el que algunos competidores están corriendo. Una experiencia de legado honesta no es una sesión espiritista."

Eso proviene de nuestro documento público Confianza & Ética. No es abstracto — es la elección de diseño específica de no construir una IA conversacional que imite al sujeto respondiendo preguntas novedosas como si estuvieran vivos. Lo que construiremos, y lo que construimos, es un archivo entregado por voz de lo que el sujeto realmente dijo, navegado por descendientes que quieren escucharlos.

La distinción importa. Es la diferencia entre una biblioteca y una sesión espiritista. Entre un museo y un animatrónico de Disney. Entre la memoria y la magia.

Lo que te pedimos

Si estás considerando cualquier servicio de clonación de voz — el nuestro o el de cualquier otro — hazte estas cinco preguntas antes de comprometerte:

1. ¿El sujeto consintió, en el registro, antes de que comenzaras?
2. ¿Puede el sujeto (o su herencia) revocar?
3. ¿Las salidas de IA están vinculadas a material fuente específico?
4. ¿Se utiliza el modelo de voz para entrenar a otro sistema?
5. ¿Qué sucede con el modelo si la empresa es adquirida o cierra?

Si un servicio no puede responder claramente a las cinco preguntas, no lo uses. Independientemente de qué servicio elijas, las preguntas anteriores son las que te mirarán claramente dentro de diez años.