六个开源桌面 Agent 可自行安装：AI 看屏幕、点按钮不再是闭门演示

作者：林序

X 用户 Cipher_twt 列出 6 个让 AI 看屏幕、点按钮的开源仓库，核对后其中 4 个确有官方仓库、许可清晰，能自己安装试用。

11 月 6 日，X 用户 Cipher_twt 发帖称 AI 已能看屏幕、点按钮、控制桌面应用，并列出 6 个开源仓库 。逐一核对后，其中四个确有官方仓库、许可清晰，可以自己装来试。

UI-TARS Desktop 出自字节跳动在 GitHub 的组织，Apache 2.0 许可，装成桌面应用后用自然语言指挥鼠标键盘，支持 Windows、macOS 和浏览器操作 。Agent-S 来自 Simular，覆盖三大系统，同样让人用一句话交代任务、由程序代为点击输入 。

OmniParser 是微软仓库里的屏幕解析工具，MIT 许可，把截图拆成结构化元素，是给开发者用的组件、不是成品软件 。OpenAdapt 思路不同：人或 AI 示范一遍，编译成程序反复运行，运行时不再调用模型，还能核对保存结果 。

更新情况不一：OmniParser 今年 7 月还在 README 记录新增检测模型 ；UI-TARS 仓库最新的公开动态是 2025 年 11 月的 CLI 新版本 。

门槛也得说清：多数项目要自备 API Key（调用大模型的付费凭证），且 AI 能看到整块屏幕，敏感内容要留神。原帖里 “screen-use” 没附链接，Open Interpreter 虽被描述为可执行代码、自动跑任务 ，本轮未能打开原仓库核对，这两项暂不作推荐。

转载说明

本文根据以下公开资料整理，原文及配图出处见下方。

• [S1] AI agents can now see your screen, click buttons, and control desktop apps. Here are 6 open-source GitHub repos worth ex · Cipher
• [S2] GitHub - bytedance/UI-TARS-desktop: The Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra
• [S3] GitHub - simular-ai/Agent-S: Agent S: the state-of-the-art open source computer use agents
• [S4] GitHub - microsoft/OmniParser: A simple screen parsing tool towards pure vision based GUI agent
• [S5] GitHub - OpenAdaptAI/OpenAdapt: For EHRs, payer portals, and any app your team clicks through. A person or an agent shows the task; OpenAdapt turns it into a local program that repeats the steps with no model calls, checks each save, and stops when something doesn't match.
• 配图 1：来源：GitHub（图片署名见原文） · 图片出处