发布时间：2024 年 5 月 14 日；最后更新时间：2024 年 5 月 20 日
我们正在开发Web 平台 API 和浏览器功能，以便与浏览器中内置的 AI 模型、专家模型和大语言模型 (LLM) 搭配使用。其中包括 Gemini Nano，它是 Gemini 系列 LLM 的最高效版本，专为在大多数新型桌面设备和笔记本电脑上本地运行而设计。借助内置 AI，您的网站或 Web 应用无需部署、管理或自行托管 AI 模型，即可执行 AI 赋能的任务。
了解内置 AI 的好处、我们的实施计划，以及如何利用这项技术。
内置 AI 为 Web 开发者带来的好处
借助内置 AI，您的浏览器可以提供和管理基础模型和专家模型。
内置 AI 具有以下优势：
- 易于部署：浏览器会分发模型，并考虑设备功能，还会管理更新。这意味着，您无需负责通过网络下载或更新大型模型。您无需解决存储空间驱逐、运行时内存预算、提取费用和其他问题。
- 使用硬件加速：浏览器的 AI 运行时经过优化，可充分利用可用硬件（无论是 GPU、NPU 还是回退到 CPU）。因此，您的应用可以在每部设备上获得最佳性能。
运行客户端的好处
借助内置 AI，您可以在客户端执行 AI 操作，这意味着您可以获享以下优势：
- 在本地处理敏感数据：客户端 AI 可以改善您的隐私保护状况。例如，如果您处理敏感数据，则可以通过端到端加密向用户提供 AI 功能。
- 流畅的用户体验：在某些情况下，取消对服务器的往返意味着您可以提供近乎即时的结果。客户端 AI 可以将可行功能与不太理想的用户体验区分开来。
- 更广泛地使用 AI：用户设备可以承担部分处理负载，从而获得对更多功能的访问权限。例如，如果您提供 AI 付费功能，则可以使用客户端 AI 预览这些功能，让潜在客户了解您产品的优势，而您无需额外付费。这种混合方法还可以帮助您管理推理费用，尤其是在经常使用的用户体验流程中。
- 离线使用 AI 功能：即使没有互联网连接，用户也可以使用 AI 功能。这意味着，您的网站和 Web 应用可以在离线状态下或在网络连接不稳定的情况下正常运行。
混合 AI：客户端和服务器端
虽然客户端 AI 可以处理各种各样的用例，但有些用例需要服务器端支持。服务器端 AI 非常适合大型模型，并且可以支持更多平台和设备。
如果您的应用需要：
- 复杂性：设备端 AI 更易于支持特定且易于上手的用例。对于复杂用例，请考虑服务器端实现。
- 弹性：默认使用服务器端，当设备离线或连接不稳定时使用设备端。
- 妥善回退：采用内置 AI 的浏览器需要时间，部分模型可能无法使用，而且旧款或性能较低的设备可能不符合运行所有模型的最佳硬件要求。为这些用户提供服务器端 AI。
例如，如果您使用内置的 Prompt API（即将进入来源试用阶段），该 API 仅适用于 Windows、macOS 和 Linux 上桌面版 Chrome 浏览器和 Chrome 扩展程序。为确保所有用户都能受益于您的 AI 功能，请使用 Firebase AI Logic 设置混合架构。
使用 Gemini 模型时，您可以使用 Node.js 构建后端集成。
使用内置 AI
您可以主要通过任务 API（例如 Translator API 或 Summarizer API）来访问内置 AI 功能。任务 API 旨在针对分配的最佳模型运行推理。
在 Chrome 中，这些 API 旨在通过微调或专家模型对 Gemini Nano 运行推理。Gemini Nano 专为在大多数新型设备上本地运行而设计，最适合语言相关用例，例如摘要、重述或分类。
何时使用内置 AI
以下是内置 AI 可为您和用户带来的一些好处：
- AI 赋能的内容消费：包括总结、翻译、分类、描述，以及作为知识提供方。
- AI 赋能的创作内容：例如写作辅助、校对、语法更正和重写。
部分内置 AI API 已在 Chrome 稳定版和源代码试用版中推出。探索性 API 和处于早期阶段的 API 可供早期预览计划 (EPP) 参与者使用。
预览新功能
我们需要您的反馈来塑造 API，以帮助实现您的用例，并为我们与其他浏览器供应商就标准化事宜进行讨论提供依据。
加入 EPP，针对处于早期阶段的内置 AI 创意提供反馈，并发现通过本地原型设计测试正在开发的 API 的机会。