我要投稿
OpenAI最新发布的AGI L3级智能体Operator，带你一探CUA技术背后的秘密。 核心内容： 1. OpenAI Operator智能体功能介绍 2. CUA技术挑战解析：安全性、点击操作、推理能力 3. LLM技术在智能体中的应用与展望
那么构建一个开源Computer-Using Agent，需要解决哪些技术挑战尼？
安全性：将操作系统隔离在安全、受控的环境中
点击事物：使人工智能能够精确点击以操纵 UI 元素
推理：让人工智能根据所见决定下一步做什么（或何时停止）
部署 LLM：以经济高效的方式托管开源模型
流式显示：寻找一种低延迟的方式来显示和录制沙箱视频
运行 AI Agent的理想环境应该易于使用、性能高且安全。让 AI Agent直接访问您的个人计算机和文件系统非常危险！它可能会删除文件或执行其他不可逆的操作。
挑战二：点击事物
挑战3：推理
基于 LLM 的Agent的强大之处在于它们可以在多个动作之间做出决定，并使用最新的信息做出明智的决策。
在过去的一年里， LLM 做出这些决定的能力逐渐增强。第一种方法是简单地提示 LLM 以给定的文本格式输出操作，并在再次调用 LLM 之前将操作结果添加到聊天历史记录中。所有后续方法大致相同，使用微调来补充系统提示，这种通用能力被称为函数调用。
在单个 LLM 调用中结合视觉来指导工具使用可以尝试的开源模型：
Llama-3.2-90B-Vision-Instruct：查看沙盒显示，并决定下一步要采取的步骤
Llama 3.3-70B-Instruct：根据 Llama 3.2 做出决定，并以工具使用格式重新表述
OS-Atlas-Base-7B：是一个工具，Agent可以根据提示调用该工具来执行点击操作
挑战 4：部署LLM
Agent运行速度要快，所以在云端运行 LLM 推理，还希望它能够提供开箱即用的功能。
Llama 3.2 和 3.3以及OpenRouter、Fireworks AI 和官方 Llama API 都是不错的选择。
挑战 5：流式显示
为了查看 AI 正在做什么，希望从沙盒的屏幕获取实时更新。
ffmpeg -f x11grab -s 1024x768 -framerate 30 -i $DISPLAY -vcodec libx264 -preset ultrafast -tune zerolatency -f mpegts -listen 1 http://localhost:8080
ffmpeg -reconnect 1 -i http://servername:8080 -c:v libx264 -preset fast -crf 23 -c:a aac -b:a 128k -f mpegts -loglevel quiet - | tee output.ts | ffplay -autoexit -i -loglevel quiet -
这在互联网上工作得很好。服务器是 FFmpeg 的某种内置功能，但有一个限制，即它一次只能向一个客户端传输数据。因此，客户端必须使用 tee 命令来分割数据流，以便可以保存和显示它。
OpenAI智能体Operator合并PDF的任务执行全流程
https://blog.jamesmurdza.com/how-i-taught-an-ai-to-use-a-computerhttps://openai.com/index/computer-using-agent/
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-05-27
盘点 Azure AI Foundry 的10大重要更新
2025-05-27
50个AI基础常识问答（看完理解整个AI行业）
2025-05-27
AI时代下的软件升级：大模型如何让考勤系统听懂人话？
2025-05-27
美团要开放AI编程能力，将推出新产品NoCode｜智能涌现独家
2025-05-27
AI大模型3种模式：Embedding、Copilot与Agent深度解析
2025-05-27
AI领域基础概念(下)
2025-05-26
万字长文！AI智能体全面爆发前夜：一文讲透技术架构与行业机会
2025-05-26
国产顶级 DeepResearch 类产品，把咨询专家请回家
2024-08-13
2024-06-13
2024-08-21
2024-09-23
2024-07-31
2024-05-28
2024-08-04
2024-04-26
2024-07-09
2024-07-20
2025-05-27
2025-05-26
2025-05-23
2025-05-23
2025-05-23
2025-05-18
2025-05-18
2025-05-17
回到顶部
粤ICP备17114055号
