[译苑雅集Vol. 3]马克.扎克伯格：开源 AI 模型是通向未来的正确道路

本文是 Meta 发布 Llama 3.1 时马克.扎克伯格的文章，探讨了人工智能的发展历程，文章详细介绍了开源 AI 的优势，包括开发者控制、数据保护和成本效益，并强调了 Meta 对开源 AI 的承诺及其对世界的潜在影响。

Jul 29, 2024

作者：Mark Zuckerberg

2024 年 7 月 23 日

原文：https://about.fb.com/news/2024/07/open-source-ai-is-the-path-forward/

在高性能计算的早期，主要的科技公司都投入大量资金开发自己闭源版本的 Unix。那时很难想象有其他方法能够开发出如此先进的软件。然而，开源的 Linux 最终获得了胜利——最初是因为它允许开发人员随意修改其代码，且价格更实惠，随着时间的推移，它变得更加先进、更安全，并且拥有更广泛的生态系统，支持比任何封闭的 Unix 更多的功能。如今，Linux 已成为云计算和大多数移动设备的操作系统基础——我们都因此受益于更优质的产品。

我相信，人工智能的发展将会是类似的路径。今天，几家科技公司正在开发领先的封闭模型。但开源正在迅速缩小差距。去年，Llama 2 仅能与前沿模型的上一代竞争。今年，Llama 3 可以与最先进的模型竞争并在某些领域获得领先。从明年开始，我们预计未来的 Llama 模型将成为行业中最先进的模型。但即便在此之前，Llama 已经在开放性、可修改性和成本效益方面领先。

今天，我们正在迈向开源 AI 成为行业标准的下一步。我们发布了 Llama 3.1 405B，这是第一个前沿级别的开源 AI 模型，同时还有新的改进版 Llama 3.1 70B 和 8B 模型。除了相对于封闭模型具有更好的成本/性能比外，405B 模型的开源性将使其成为微调fine-tuning和蒸馏distilling小型模型的最佳选择。

除了发布这些模型外，我们还与一系列公司合作，以扩大更广泛的生态系统。亚马逊、Databricks 和 NVIDIA 正在推出完整的服务套件，以支持开发人员微调和蒸馏他们自己的模型。Groq 等创新者已经为所有新模型建立了低延迟、低成本的推理服务。这些模型将在所有主要云平台上提供，包括 AWS、Azure、Google、Oracle 等。像 Scale.AI、戴尔、德勤等公司已准备好帮助企业采用 Llama 并使用他们自己的数据训练定制模型。随着社区的成长和更多公司开发新服务，我们可以共同使 Llama 成为行业标准，并将 AI 的好处带给每个人。

Meta 致力于开源 AI。接下来我要概述为什么我相信开源是最好的开发堆栈，为什么开源 Llama 对 Meta 有好处，以及为什么开源 AI 对世界有好处，因此将是长期存在的平台。

为什么开源 AI 对开发者有好处

当我与世界各地的开发者、CEO 和政府官员交谈时，我通常会听到几个需求：

我们需要训练、微调和蒸馏我们自己的模型。每个组织都有不同的需求，最好用不同大小的模型来满足，这些模型经过训练或微调以适应他们的特定数据。运行在终端设备上的任务需要小型模型，而更复杂的任务需要大型模型。现在，您可以采用最先进的 Llama 模型，继续使用自己的数据进行训练，然后将其蒸馏到您理想的模型大小——无需将您的数据暴露给我们或其他人。
我们需要掌控自己的命运，而不是被封闭供应商锁定。许多组织不想依赖他们无法自行运行和控制的模型。他们不希望封闭模型提供商能够更改其模型，改变使用条款，甚至停止对他们的服务。他们也不希望被独家拥有某个模型的单一云平台锁定。开源允许具有兼容工具链的广泛生态系统，您可以轻松地在其中切换。
我们需要保护我们的数据。许多组织处理需要保护的敏感数据，无法通过云 API 发送到封闭模型，其他组织则根本不信任封闭模型提供商。开源解决了这些问题，使您能够在任何地方运行模型。众所周知，开源软件往往更安全，因为它的开发更加透明。
我们需要一个高效且经济实惠的模型。开发者可以在自己的基础设施上运行 Llama 3.1 405B 推理，成本约为使用 GPT-4o 等封闭模型的一半。
我们希望投资于将成为长期标准的生态系统。很多人看到开源的进展速度比封闭模型更快，他们希望在能给他们带来长期优势的架构上构建系统。

为什么开源 AI 对 Meta 有好处

Meta 的商业模式是为人们构建最好的体验和服务。为此，我们必须确保始终能够访问最好的技术，而不是被竞争对手的封闭生态系统锁定，使他们能够限制我们的未来。

我自身的重要经历之一是在苹果平台的限制下开发我们的服务，苹果对开发者的收费方式、任意的规则变更以及阻止产品的创新，使我们无法构建最佳产品，而这正是我们的竞争对手所期望的。如果没有这些限制，Meta和许多其他公司将能够为用户提供更好的服务。基于这一经历，我坚信在AI和AR/VR领域构建开放生态系统的重要性。

人们常问我是否担心开源 Llama 会使 Meta丧失技术优势，我认为这忽略了整体全景，原因有几点：

首先，为确保我们能够访问最好的技术，并且未来不会被封闭生态系统锁定，Llama 需要发展成一个完整的生态系统，有充足的工具、持续的效率改进、硬件优化和丰富集成。如果我们是唯一使用 Llama 的公司，这个生态系统就不会发展，我们的处境不会比封闭版本的 Unix 更好。

其次，我预计 AI 领域的竞争将继续非常激烈，这意味着开源任何特定模型并不会在当时给其他最好的模型带来优势。Llama 成为行业标准的路径是通过一代又一代地保持竞争力、高效和开放。

第三，Meta 与封闭模型提供商之间的一个关键区别是，出售 AI 模型的使用权不是我们的商业模式。这意味着开源 Llama 不会削弱我们的收入、业务可持续性或投资研究的能力，而封闭提供商则会受到影响。（这是几个封闭AI 模型提供商始终游说政府反对开源的原因之一。）

最后，Meta 拥有长期的开源项目参与和成功历史。通过参与 Open Compute Project ，发布我们的服务器、网络和数据中心设计，并使供应链标准化在我们的设计上，我们节省了数十亿美元。通过开源领先的工具如 PyTorch、React 和许多其他工具，我们受益于生态系统的创新。只要我们长期坚持这种方法，它就将一直对我们有利。

为什么开源 AI 对世界有好处

我相信开源对人工智能的积极未来是必要的。AI 比任何其他现代技术都更有潜力提高人类的生产力、创造力和生活质量——并加速经济增长，同时推动医疗和科学研究的进步。开源将确保世界上更多的人能够获得 AI 的好处和机会，权力不会集中在少数几家公司手中，技术能够更均匀和安全地在整个社会中部署。

关于开源 AI 模型的安全性，存在着持续的争论，我认为开源 AI 将比其他方案更安全。我认为政府将得出结论，支持开源符合他们的利益，因为这将使世界更加繁荣和安全。

我的安全框架是，我们需要防范两类伤害：无意的和故意的。无意的伤害是指即使那些运行 AI 系统的人没有意图造成伤害，但AI 系统可能仍会造成伤害。例如，现代 AI 模型可能会无意中给出错误的健康建议。或者，在更未来的情景中，有人担心模型可能会无意中自我复制或过度优化目标，损害人类。故意的伤害是指不法分子使用 AI 模型故意造成伤害。

值得注意的是，无意的伤害涵盖了人们对 AI 的大多数担忧——从 AI 系统对数十亿用户的影响，到大多数真正的灾难性科幻情景。在这方面，开源应该显著更安全，因为系统更透明，可以广泛审查。历史上，开源软件因此而更安全。同样，使用 Llama 及其安全系统如 Llama Guard 可能比封闭模型更安全。为此，大多数关于开源 AI 安全性的讨论集中在故意伤害上。

我们的安全流程包括严格的测试和红队渗透，以评估我们的模型是否有能力造成重大伤害，目的是在发布前降低风险。由于模型是开放的，任何人都可以自己进行测试。我们必须记住，这些模型是通过互联网已有的信息进行训练的，因此在考虑伤害时的起点应该是模型是否能够比从 Google 或其他搜索结果中快速检索的信息造成更大的伤害。

在推理故意伤害时，区分个人或小规模行为者可能做什么与国家等拥有巨大资源的大规模行为者可能做什么是有帮助的。

在未来的某个时刻，个人不法分子可能会利用 AI 模型的智能，从互联网上可用的信息中捏造出全新的伤害。在这个时候，权力的平衡对于 AI 安全至关重要。我认为生活在一个 AI 广泛部署的世界中会更好，这样更大的参与者可以检查较小的不法分子的权力。这是我们在社交网络上管理安全的方式——我们更强大的 AI 系统识别并阻止使用小规模 AI 系统的低级行为者的威胁。更广泛地说，大规模部署 AI 的大型机构将促进整个社会的安全和稳定。只要每个人都能访问相似能力的模型——这就是开源的优势——那么拥有更多计算资源的政府和机构将能够检查计算资源较少的不法分子。

接下来的问题是，美国和民主国家应该如何应对其他拥有巨大资源的国家的威胁。美国的优势在于分散和开放的创新。一些人认为我们必须封闭我们的模型，以防止其他国家获得它们，但我认为这行不通，只会使美国及其盟友处于不利地位。我们的对手擅长间谍活动，偷窃可以复制到 U 盘上的模型相对容易，而且大多数科技公司远未能以使这种行为更困难的方式运营。最有可能的情况是，仅有封闭模型的世界将导致少数大公司加上我们的地缘政治对手能够访问领先模型，而初创公司、大学和小企业则错失机会。此外，限制美国创新于封闭开发增加了我们丧失领先地位的可能性。相反，我认为我们最好的策略是建立一个强大的开放生态系统，并让我们领先的公司与我们的政府和盟友紧密合作，以确保他们能够最好地利用最新的进展，并在长期内实现可持续的先发优势。

当你考虑未来的机会时，请记住，今天的大多数领先科技公司和科学研究都是基于开源软件构建的。如果我们共同投资，下一代公司和研究将使用开源 AI。这包括刚刚起步的初创公司以及那些可能没有资源从头开发最先进 AI 的大学和国家的人。

关键是开源 AI 代表了世界上最有希望利用这项技术创造最大的经济机会和安全性。

让我们一起构建

在过去的 Llama 模型中，Meta 为我们自己开发了它们，然后发布，但没有太关注构建更广泛的生态系统。我们在这次发布中采用了不同的方法。我们正在内部建立团队，以使尽可能多的开发人员和合作伙伴能够使用 Llama，我们也在积极建立合作伙伴关系，以便生态系统中的更多公司也能够为其客户提供独特的功能。

我相信 Llama 3.1 的发布将成为行业的一个拐点，大多数开发人员将开始主要使用开源，我预计这种方法将从这里开始只会增长。我希望你能加入我们，共同努力将 AI 的好处带给世界上的每一个人。

您现在可以在 llama.meta.com 访问这些模型。