微软在Copilot Studio中引入了名为“计算机使用”的新工具，旨在增强企业创建和定制AI助手的能力。该工具允许AI助手与网站和桌面应用程序交互，实现自动化操作，无需API集成。它基于大型语言模型，能够适应应用程序和网站的变化，并具备内置推理功能。微软强调了该工具在机器人流程自动化（RPA）方面的优势，包括实时响应变化、易于使用和智能构建。该工具在微软托管的基础架构上运行，确保客户数据的安全性和隐私性。

💻 微软Copilot Studio新增“计算机使用”工具，使得AI助手能够与网站和桌面应用程序交互，如同真正的工具一样操作，无需API集成。

💡 该工具基于大型语言模型（LLM），具备适应应用程序和网站变化的能力，并内置推理功能，可以自主解决问题。

⚙️ “计算机使用”工具增强了机器人流程自动化（RPA），能够实时响应变化，通过自然语言描述实现操作，并提供历史记录和屏幕截图，方便用户查看。

🔒 微软强调，该工具在微软托管的基础设施上运行，客户数据保留在微软云边界内，不会用于训练大型语言模型，保证了数据安全和隐私。

🚀 微软可能采用了与OpenAI Operator类似的技术，为Copilot Studio的“计算机使用”工具提供支持，感兴趣的组织可以申请试用。

Microsoft Copilot Studio 使企业能够通过直观的图形界面创建自定义 AI 助手和虚拟代理。创建完成后，这些助手和代理可以直接在 Copilot Studio 中进行测试和发布。

今天，微软宣布在 Copilot Studio 中推出一款名为“计算机使用”的全新研究预览工具。该工具允许 Copilot Studio 客服人员与任何网站或桌面应用程序进行交互，就像它们本身就是工具一样。客服人员现在可以点击按钮、选择菜单，并在应用程序和网站上的字段中输入信息。全新的“计算机使用”工具使客服人员能够在没有可用 API 进行编程集成的环境中运行。

“计算机使用”基于大型语言模型 (LLM)，可以自动适应应用程序和网站的变化。据微软称，该工具包含内置推理功能，可以自主解决问题。

为了确保“计算机使用”工具适用于企业，它在微软托管的基础架构上运行，从而无需组织管理自己的服务器。微软强调，客户数据将保留在微软云边界内，并且不会用于训练大型语言模型。

微软强调了“计算机使用”工具增强机器人流程自动化（RPA）的以下方式：

它实时响应变化：当按钮或屏幕发生变化时，该工具会继续工作而不会中断您的流程。

它易于使用：您可以用自然语言描述您想要的内容，无需编码，并使用计算机使用推理链和计划的 UI 自动化的实时并排视频来测试和完善提示。

它是用智能构建的：代理可以看到屏幕上的内容并实时做出明智的决策，即使在复杂或不断变化的环境中也是如此。

它具有完整的可见性：制造商可以随意查看计算机使用活动的历史记录，包括捕获的屏幕截图和推理步骤。

今年年初，OpenAI 宣布推出Operator，它采用了计算机使用代理 (CUA) 模型，将 GPT-4o 的视觉功能与通过强化学习实现的高级推理能力相结合。微软或许正在利用 Operator 背后的相同底层技术，为 Copilot Studio 中的这款全新“计算机使用”工具提供支持。

感兴趣的组织可以填写此表格以获得微软的邀请来试用这个新工具。