Magentic-UI：微软开源的人机协作Web代理，提升效率与安全性

Magentic-UI是微软研究院推出的一个全新的开源研究原型，旨在探索以人为本的AI代理和监督机制。它是一个人机协作的Web代理，可以与用户实时协作完成各种基于Web的任务，例如信息搜索、表格填写和仪表板导航。与追求完全自主的计算机代理不同，Magentic-UI提供透明且可控的体验，特别适用于需要行动导向和超出简单Web搜索的任务。

Magentic-UI构建于Magentic-One之上，并由AutoGen框架驱动。它通过与用户协同规划和执行任务，显著提升了Web任务的效率和安全性。该原型集成了Azure AI Foundry模型和代理，开发者可以通过代码示例将Azure AI代理集成到Magentic-UI的多代理架构中。

**Magentic-UI的核心功能包括：**

* **协同规划 (Co-planning)：** 用户可以在Magentic-UI执行任何操作之前，通过计划编辑器或文本反馈直接修改其计划。这确保了代理的行为符合用户的期望，从而显著提高任务完成的成功率。
* **协同执行 (Co-tasking)：** 用户可以随时暂停系统，并通过自然语言提供反馈或直接控制浏览器来指导代理的执行。Magentic-UI实时显示其即将执行的具体操作和观察到的网页内容，允许用户随时介入并掌控任务的进展。
* **行动防护 (Action Guards)：** Magentic-UI在执行潜在的不可逆操作之前会征求用户的批准，用户可以自定义需要批准的频率。此外，Magentic-UI还采用沙盒环境来安全地运行浏览器和代码执行器等工具。
* **计划学习 (Plan Learning)：** Magentic-UI可以从之前的交互中学习并保存计划，以便在未来的类似任务中重复使用。用户可以查看和修改保存的计划，从而进一步提高任务完成的效率。

**Magentic-UI的架构：**

Magentic-UI的底层系统是一个由AutoGen的Magentic-One系统改编而来的专业代理团队。这些代理协同工作，形成一个模块化的系统：

* **Orchestrator：** 是主导代理，由大型语言模型 (LLM) 驱动，负责与用户进行协同规划，决定何时向用户寻求反馈，并将子任务委派给其余代理完成。
* **WebSurfer：** 是一个配备了Web浏览器的LLM代理，可以控制浏览器进行点击、输入、滚动和访问页面等操作，以完成Orchestrator的请求。
* **Coder：** 是一个配备了Docker代码执行容器的LLM代理，可以编写和执行Python和shell命令，并将结果返回给Orchestrator。
* **FileSurfer：** 是一个配备了Docker代码执行容器和MarkItDown软件包中的文件转换工具的LLM代理，可以定位Magentic-UI控制的目录中的文件，将文件转换为markdown格式，并回答有关文件的问题。

**评估结果：**

在GAIA基准测试中，通过引入模拟用户，Magentic-UI展示了其在规划和执行任务中整合人类反馈的能力。结果表明，与自主模式相比，Magentic-UI与模拟用户协同工作时，任务完成率显著提高。

**安全性与控制：**

Magentic-UI具备浏览互联网和执行代码的能力，因此安全性至关重要。Magentic-UI通过以下措施确保安全：

* **白名单：** 用户可以设置允许Magentic-UI访问的网站列表。
* **随时中断：** 用户可以随时中断Magentic-UI的任务执行，停止任何待处理的代码执行或Web浏览。
* **Docker沙箱：** Magentic-UI控制的浏览器在没有凭据的Docker容器中启动，避免了登录帐户和凭据的风险。代码执行也在单独的Docker容器中进行，以避免影响Magentic-UI运行的主机环境。
* **不可逆代理操作的检测和批准：** 用户可以配置操作批准策略 (操作保护)，以确定Magentic-UI可以在未经用户批准的情况下执行哪些操作。

**总结：**

Magentic-UI是一个有潜力的人机协作Web代理，它通过协同规划、协同执行、行动防护和计划学习等功能，提升了Web任务的效率、安全性和可控性。 微软鼓励研究人员扩展和重用Magentic-UI，以进行科学探索和领域研究。

**SEO关键词:** 人机协作, Web代理, AI代理, 自动化, Magentic-UI, AutoGen, Azure AI

**标签:** 人工智能, 自动化, Web开发, 开源, 微软

Magentic-UI, an experimental human-centered web agent – Microsoft Research
https://www.microsoft.com/en-us/research/blog/magentic-ui-an-experimental-human-centered-web-agent/microsoft/magentic-ui: A research prototype of a human-centered web agent
https://github.com/microsoft/magentic-ui