在2024年,语音克隆成为了消费者能力。给模型输入五分钟的清晰音频,它就能以任何语言,永远说出任何话。在接下来的两年里,围绕“人工智能祖先”出现了一类服务——这些工具让家人能够与已故亲人的人工智能版本对话,基于生前的录音构建。

我们构建了这类服务之一。我们也公开反对大多数服务的构建方式。这是我们在伦理方面的诚实立场——以及负责任实施的样子。

可能出错的三件事

1. 未发生的同意

今天活着的大多数祖父母从未想象过他们的声音能从一段旧家庭视频中重建。他们没有选择加入语音克隆,因为在他们录音时这个概念还不存在。那么,默认的问题是:现在谁有权决定是否克隆他们?

在目前市场上几乎所有的语音克隆服务中,答案是:拥有录音的人。那不是伦理——那是获取权限。一个拥有父亲语音信箱的儿子,并没有得到父亲的同意。

2. 幻觉冒充记忆

一个连接到声音的大型语言模型可以说出任何听起来合理的话。如果你问你的人工智能重建的父亲“当我告诉你我要和詹妮弗结婚时,你怎么想?”,系统会生成一个流畅、情感上令人满意的答案。它可能基于真实的原始材料。它可能是编造的。大多数当前服务不作区分。

结果:你最终可能会为人工智能对你父亲的看法而哀悼,而不是你父亲的看法。

3. 商业和政治用途

如果存在一个语音模型,它就可能被泄露、被盗、被出售或被传唤。今天被一个悲伤的女儿使用的声音,明天可能被一个骗子使用,明年可能被一个竞选活动使用。没有为此设计的服务是将真正的风险转嫁给不完全理解它的家庭。

负责任的服务是什么样子的

同意是明确的、记录的,并且可以撤销的

主题——被克隆声音的人——必须自己录制一个同意声明。不是成年子女。不是遗产。是主题本人。用自己的声音,记录下来,说他们同意。

那个录音与模型一起存储,并显示给任何调用它的人。主题可以随时撤销。如果主题在没有录制同意的情况下去世,无论谁要求,都不允许进行语音克隆。

死后规则反映生前愿望

如果主题在生前同意,他们的声音模型继续按照他们同意的确切范围运作——仅限家庭、私密、不用于商业用途。如果他们在生前选择退出,任何家庭成员都不能覆盖那个决定。死亡证明书不是同意升级。

人工智能输出与来源链接

从重建的声音生成的每个句子都链接到主题的具体捕获答案。当提出的问题超出主题曾经谈论的范围时,系统会这么说——它不会编造答案。“我不知道”不是一种失败模式。它是一个特性。

永不训练

你家人的声音和内容不会被用来训练任何公共人工智能模型。不是我们的,不是我们的供应商的,也不是研究联盟的。这是我们可以被起诉的合同承诺,而不是营销台词。

应请求销毁

任何出现在声音模型中的家庭成员都可以要求永久销毁该模型。我们在24小时内完成,经过身份验证后。没有争论,没有保留政策的争论,没有“但是你兄弟姐妹……”。我们做到了。

为什么要这么做

你可能会读到上述内容,并得出负责任的答案是:根本不要构建语音克隆。我们仔细考虑了这个问题。以下是我们不同意的原因。

悲伤的家庭,在整个人类历史上,都保留了他们能保留的东西。信件。日记。视频。照片。纪念肖像。一个声音档案——最接近他们本人的东西——是延续那个悠久传统,而不是背离它。问题不在于家庭是否会尝试保留他们所爱的人的声音。问题是他们可以使用的工具是否会被负责任地建造,或者不负责任地建造。

我们宁愿成为一个负责任的选择,而不是抵制这个类别,看着它被不负责任的定义。

我们不会越过的界限

“我们不会构建一些竞争对手正在竞相开发的死人聊天机器人。一个诚实的遗产体验不是降神会。”

这是来自我们的公共信任与伦理文件。这不是抽象的——这是一个具体的设计选择,不构建一个模仿主题回答新问题的对话人工智能,就好像他们还活着一样。我们将构建的,以及我们正在构建的,是一个由想要听到他们声音的后代导航的声音传递的声音档案。

这个区别很重要。这是图书馆和降神会之间的区别。博物馆和迪士尼动画机器人之间的区别。记忆和魔法之间的区别。

我们对你的要求

如果你正在考虑任何语音克隆服务——我们的或任何其他人的——在你承诺之前,问这五个问题:

  1. 主题本人在开始之前,有没有在记录上同意?
  2. 主题(或他们的遗产)可以撤销吗?
  3. 人工智能输出是否与特定原始材料链接?
  4. 声音模型是否用于训练任何其他系统?
  5. 如果公司被收购或关闭,模型会发生什么?

如果一个服务不能清晰地回答所有五个问题,不要使用它。无论你选择哪个服务,上述问题都是十年后会清晰地回顾你的问题。

我们的信托和伦理承诺——公开的。

六个承诺。我们不会越过的明确界限。提前30天宣布变化。

阅读完整的信任与伦理文件 →