(相关资料图)
人工智能和机器学习多年来一直是谷歌的热情项目，而I/O2023 主题演讲只是让这一点更加明显。图像创建是这项技术更有趣的应用程序之一，谷歌在这一领域的努力具体化为Imagen，这是一种基于文本的图像生成工具，很像 Midjourney 和 DALL-E 2。现在，谷歌正在分享展示 Imagen Editor 的研究，其中文本提示和一点草图就足以对照片进行本地编辑。
谷歌的 Imagen 实用程序已经擅长从头开始创建图像，完全没有文本提示。然而，如果您对结果不满意，您通常会被迫重组您的提示，对其进行润色，然后再试一次图像生成器，这仅仅是因为 Imagen 还不允许编辑您不允许编辑的图像的特定元素高兴。为了解决这个问题，谷歌最近分享了对Imagen Editor 和 EditBench 的研究，这些实用程序目前处于测试阶段，但能够通过文本提示指导编辑。
Imagen Editor 不需要使用提示创建新图像，而是需要一张必须编辑的照片、用户定义更改的文本提示，以及定义需要应用编辑的蒙版区域。结果是编辑仅限于您定义的区域，并根据提供的提示进行定制。此外，结果逼真自然。
技术上称为修复，谷歌新工具使用的过程就像图像修复，或者我们最好将其描述为谷歌人工智能和 Adobe Photoshop 的内容感知填充的融合。研究人员为 Imagen Editor 开发了新的编码器，还在 AI 中包含了一个对象检测器模块，以补偿不完整或不准确的蒙版。
该研究还包括一个名为 EditBench 的工具，用于评估文本引导修复的结果。基于 240 张图像数据集，该基准评估了对人造和 AI 生成图像的编辑，参数包括修改后的对象、它们的形状、大小、数量和场景适用性等属性。谷歌观察到对象遮罩有助于改善图像文本对齐，使 Imagen Editor 在 EditBench 测试的所有类别中优于 DALL-E 2 和 StableDiffusion 等替代品。
不幸的是，谷歌对负责任地使用人工智能有未明确的担忧，这就是它不会向公众发布 Imagen Editor 的原因。该公司最近提出了一个保护 AI 开发的框架，希望在允许人们使用 Imagen Editor 等工具之前可以建立一些硬性限制。从好的方面来说，EditBench 是完全免费的，可以帮助进一步的 AI 研究。同时，我们仍然希望基本模型 Imagen 能够很快集成到 Gboard 中。
