比人类算法快 70%！谷歌 DeepMind 用 AI 改进数据排序，登上 Nature

2023-06-09 12:12:18 ZAKER科技

智东西（公众号：zhidxcom）

(资料图)

编译 | 程茜

编辑 | 心缘

智东西 6 月 8 日消息，昨晚，人工智能研究实验室 Google DeepMind 发布三大 AI 工具 AlphaZero、MuZero、AlphaDev，这些工具可以提高数据中心资源利用率、提升视频压缩效率、发现更快算法，从而优化整个计算生态系统。

昨天，AlphaDev 的相关进展已经登上国际学术顶刊 Nature。AlphaZero 的专用版本 AlphaDev 还发现了新算法，可以将短元素序列的排序效率提高 70%。

现在，AlphaDev 的新排序算法已发布到 C++ 库中。Google DeepMind 的博客称，这是十多年来排序库算法的第一次变化，也是第一次将通过强化学习设计的算法添加到该库中。散列算法也已经发布到开源 Abseil 库中。

C++ 库开源链接：https://reviews.llvm.org/D118029

论文链接：https://www.nature.com/articles/s41586-023-06004-9

Google DeepMind 正在努力创建对世界具有广泛理解的 AI 工具来优化计算生态系统，作为构建更加强大和通用人工智能系统的一部分。

研究人员还在扩展基于强化学习的谷歌 AI 模型 AlphaZero、MuZero 的能力，用来帮助优化数据中心的视频压缩，使得数据中心未充分利用的硬件数量减少 19%，以及在不损失视频质量的同时，进一步降低比特率。

这些工具目前实现了整个计算生态系统中效率的提升，但这些结果也证明了未来更通用的人工智能工具具有变革的潜力。

一、AlphaDev：排序效率提升 70%、检索效率提升 30%，数百万开发人员已应用

此前，Google DeepMind 开发了一个用于玩围棋游戏的 AI 系统 AlphaZero，现在研究人员将这一系统应用到了构建算法排序中打造了 AlphaDev，其结果显示，AlphaDev 创建的算法在转换为标准编程语言 C++ 时，排序数据的速度是人类生成版本的三倍。

" 我们有点震惊。" 领导这项工作的 Google DeepMind 计算机科学家 Daniel Mankowitz 说，" 起初我们不相信（这个结果）。"

AlphaDev 可以被用于快速排序（faster sorting）和散列算法（hashing algorithms），这两种算法每天会被使用数万亿次来对数据进行排序、存储、检索。

1、下象棋到找算法，短元素排序效率提高 70%

排序算法会影响所有数字设备处理和显示信息的方式，包括一些在线搜索结果的呈现、社交媒体上帖子的排名以及一些用户推荐内容。

AlphaDev 研发了一种可以提升排序效率的算法，并且该算法与 C++ 库中人类设计的算法相比可以将短元素序列的排序效率提高 70%，将超过 25 万个元素的序列排序效率提高约 1.7%。这也使得当用户提交搜索查询时，AlphaDev 的算法可以快速对结果进行排序，以更快找到与用户搜索相关度高的答案。

刚开始，研究人员将 AlphaDev 应用于按大小对数字进行排序的任务，刚开始只是让其一次对 3、4、5 个数字进行排序，这对于后续让其进行较多数字排序很重要。

▲对两个数字进行排序

AlphaDev 的工作方式与 AlphaZero 类似，后者结合了计算机版本的深思熟虑和直觉来选择棋盘游戏中的动作。AlphaDev 则不会选择动作，它会选择指令添加到一个过程中。

AlphaDev 通过从头开始而不是改进现有算法来发现更快的算法，并且它会关注计算机的汇编指令。汇编指令用于为计算机创建二进制代码以执行操作，Google DeepMind 的研究人员认为，在这个较低层次上会有很多可以改进的地方。

在构建算法时，AlphaDev 会通过将算法的输出与预期结果进行比较来检查它是否正确。对于排序算法，这意味着无序数字进入，正确排序的数字出来。研究人员会奖励 AlphaDev 对数字的正确排序以及排序的速度和效率。

2、数据存储节省近 70% 时间，算法已经开源

Google DeepMind 团队还将 AlphaDev 应用于非排序算法，它用于将特定格式存储的数据转换为字节的算法版本比标准版本少用了 67% 的时间，用于数据存储和检索的散列算法比标准算法花费的时间少 30%。

散列信息算法通常用于在数据库中进行存储和检索。散列算法通常使用一个关键词来生成一个对应的唯一散列，这一散列就会对应于需要检索的数据值，如输入关键词用户名 "Jane Doe"，会生成检索对应的 " 订单号 164335-87"。

一个较为相似的场景是，图书管理员通过分类系统来快速查找特定书籍，计算机借助散列算法，就可以快速理解它要找什么以及在哪里能找到。

▲输入关键词检索对应数据值

当应用于数据中心 9-16 字节范围的散列算法时，AlphaDev 的算法能将检索效率提升 30%。

去年 1 月，Google DeepMind 的研究人员在 LLVM 项目的 C++ 标准库中发布了基于机器学习的排序算法，在 Abseil 库发布了散列算法，目前，已经有云计算、在线购物、供应链管理等行业的数百万开发人员和公司正在应用这些算法。

二、AlphaZero：优化数据中心资源，硬件充分利用率提高 19%

数据中心需要管理从提供搜索结果到处理数据集的一切任务。谷歌大规模集群管理系统 Borg 管理着谷歌的数十亿个任务，同时这一系统还要去分配工作负载来优化数据中心的内部基础设施，并处理谷歌搜索等用户使用的服务，管理批处理。

分配工作负载这一过程就像 Borg 在玩俄罗斯方块，如何在有限的空间内，最大程度地放置更多的方块，把空余的位置都利用起来。

▲将分配工作负载比喻为俄罗斯方块游戏

此前，Borg 需要使用手动编码的规则来安排任务，优化工作负载。但面对庞大如数十亿个任务的规模时，这些手动编码的规则无法考虑不断变化的工作负载分布的多样性，因此它们被设计为 " 最适合所有人的一种尺寸 "，也就是选择了一个中间值。

在这一场景下，AlphaZero 就派上了用场，其构建的算法能够自动创建单独的最佳定制规则，这些规则使得 Borg 在分配工作负载时更加高效，能找到适合不同任务的规则。

研究人员在实验期间发现，AlphaZero 还能识别进入数据中心的任务的模式，以及预测管理容量的最佳方法，并做出具有最佳长期结果的决策。

当 AlphaZero 应用于 Borg 时，研究人员的实验表明，这种方法可以将未充分利用的硬件数量减少多达 19%，优化谷歌数据中心的资源利用率。

三、MuZero：编码视频图片组，压缩比特率降低 4%

在互联网中，视频流会占据其流量的相当大一部分，因此，如果能提升视频传输的效率，将会对每天观看视频的数百万人产生巨大影响。

去年，Google DeepMind 与视频网站 YouTube 合作，通过 MuZero 来压缩和传输视频，其结果显示，这一工具能在不影响视频质量的情况下将比特率降低 4%。

早期，研究人员将 MuZero 应用于优化视频中每个单独帧的压缩，现在，他们将其扩展至决定在编码过程中如何对帧进行分组和引用。

最开始，MuZero 会定义要压缩的 GOP（group of pictures，图片组）帧，然后根据图片的视觉相似性进行分组。MuZero 会将其中一个图片组的关键帧进行压缩，再参考关键帧去压缩其它帧，在这一过程中，该算法会通过块搜索（block search）来查找图片中变化最小的区域，使得压缩效果更好还能保证视频质量。

▲ MuZero 压缩图片组

最后，一组图片组压缩完成后，MuZero 再按照同样的步骤完成视频其它部分图片组的压缩。

这些研究的早期结果表明 MuZero 有潜力成为一个更通用的工具，帮助研究人员在视频压缩过程中找到最佳解决方案。

结语：通用人工智能工具的变革潜力已经凸显

当下，Google DeepMind 的 AI 工具正在使得数十亿用户在使用计算机的过程中节省时间和精力，包括从玩游戏到解决每台计算机设备核心的复杂工程问题。研究人员认为，这仅仅是个开始。

未来，越来越多的通用人工智能工具或许可以优化为数字世界提供动力的整个计算生态系统，但与此同时，支持这些工具背后的数字基础设施需要更快、更高效、更可持续。因此，这一愿景的实现需要更多理论和技术上的突破。

不可否认的是，通用人工智能工具的变革潜力已经显现出来，并且研究人员已经开始考虑将其应用于技术、科学和医学等领域。

标签：