在 Mac 上用 AI Agent 控制 Coco,三条路都通。
Coco 是你按快捷键就打开的那个启动器。它也是一套让 AI Agent 操作你 Mac 的接口。命令行、MCP 服务器、Agent Skill,三条路调用的是同一套 71 个方法。
在 Mac 上让 AI Agent 控制到底是指什么
大多数 Mac 应用没有给 Agent 留门。终端里的 AI 编程助手能读写文件,能跑 shell 命令。它没法像你一样按名字打开一个应用。它没法读你的剪贴板历史,没法截一张图并拿回文件路径,也没法改一项设置并让它立刻生效。Coco 的 Agent 层补的就是这个缺口。它不是新造的一个应用。它把 Coco 自己的启动器、剪贴板管理、截图工具。实时字幕、计算器、插件运行时和 Raycast 兼容商店。全部开在一条本地 socket 后面,命令行和 MCP 服务器都连这条 socket。
机制是一套 area.method 形式的方法清单,就是 Coco 能做的每一件事。apps.search、clipboard.list 是其中两个。screenshot.capture、settings.set 是另外两个。一共六十多个方法,各自只定义一次,带一份 schema。这套清单和 Coco 启动器面板按快捷键调用的是同一份。命令行 coco、连 stdio 的 coco mcp 服务器。还有教两者用法的 Agent Skill,三处读的都是它。没有第二份实现,也就不会有哪一处悄悄漏掉一个方法。
本地 socket 只认 Coco 自己签名过的进程。Mac 上随便一个脚本冒充不了命令行。在这条边界以内,Coco 的 AI Agent 控制默认全部放行。装好 Coco,接上一个 Agent,上面全部方法立刻可用,不会为每一次调用弹一次确认框。少数几类文件被单独拉进拒绝名单,AI API 密钥。语音识别密钥、许可证缓存和 Keychain 相关条目都在其中。这条名单排在最前面检查。你也可以随时在设置里把 Agent 访问整体关掉,或者只挡掉某一个方法。
AI Agent 能通过 Coco 调用的 71 个方法
搜索、打开、切到前台、隐藏和退出应用
Agent 可以按名字搜应用。走的是启动器自己那套支持拼音、罗马音、韩文初声的索引。再打开、切到前台、隐藏或退出匹配到的那一个。让 Agent 打开 Xcode 并切过去,它调用的方法和你在面板里打字时是同一个。
列出、搜索并粘贴剪贴板里的内容
剪贴板这一组方法让 Agent 能列出最近的条目、搜索。按 id 取出一条,也能把新文本或图片写进剪贴板。粘贴进当前最前面的应用,还能收藏或删除一条。密码管理器那类条目在任何一次调用里都不会被返回,不管搜索词怎么写。
截一张图,拿回一个文件路径
screenshot.capture 能截全屏。截一个窗口,也能截一块矩形区域。返回给 Agent 的是一个 PNG 文件路径。可以读取、可以附到消息里,也可以传给下一个工具用。这是专门给 Agent 开的新入口,和你自己在面板里触发的交互式截图是两条路。
开启实时字幕,再把转写文本读回来
Agent 能开启或停止一次实时字幕会话,查看状态。它也能列出或读取已保存的转写记录。让它给一通通话配上字幕,事后把转写文本给你。它依次调用三个方法。先是 captions.start。再是 captions.status。最后是 transcripts.read。
计算器、单位、汇率和 emoji 查询
calc.eval 和 units.convert 是两个例子。currency.convert 和 emoji.search 是另外两个。它们都是 Coco 内置那几个工具背后的同一批纯函数。Agent 用得着算一道单位换算,或者找一个合适的 emoji,都不用离开对话去开计算器。
运行任意已装插件或 Raycast 扩展
plugins.list 和 plugins.commands 描述装了什么。plugins.run 执行一条命令。raycast.list 和 raycast.run 是其中两个。raycast.session 用同样的方式覆盖 Raycast 兼容扩展。驱动 Coco 的 Agent 能够到你添加过的每一个插件,不只是 Coco 自带的功能。
浏览、安装并更新 Coco 商店里的插件
store.list 和 store.search 读取商店目录。store.install 和 store.uninstall 是其中两个。store.update 管理你 Mac 上装了什么。Agent 能先查一个插件在不在商店里。再把它作为一项更长任务的一步装上,不用停下来找你手动装。
读取并修改每一项设置,改完立刻生效
settings.list 和 settings.get 是两个读取方法。settings.schema 是第三个。settings.set 和 settings.patch 用来写入。它们覆盖 Coco 配置里的每一个键。Agent 改的一项设置立刻生效。这跟你自己在设置窗口里改是同一个效果,中间不用重启。
把 Coco、Raycast、Alfred 的 AI Agent 控制放在一起看
Raycast 和 Alfred 都是 Agent 可能想够到的启动器。但都没搭出一套控制面。Raycast 接了 MCP,这里要说清楚它接的是哪一头。Raycast 扮演的是 MCP 客户端。它能从自己内部去调用别的 MCP 服务器,方向是反过来的。Claude Code、Cursor 或 ChatGPT 没法反过来调用 Raycast。它们没法让 Raycast 打开一个应用,或者读一条剪贴板记录。
Alfred 开放了一个 URL scheme,可以触发一条 workflow。这个入口没有任何鉴权。Mac 上任何能打开 URL 的东西都能触发一次 Alfred 动作。这是一扇门,但不是专门给 Agent 搭的控制面。它也没有 Coco 那道进程签名校验守在前面。三者里只有 Coco 自带命令行、MCP 服务器和 Agent Skill。只有 Coco 让外部 Agent 直接连进来。
| Coco | Raycast | Alfred | |
|---|---|---|---|
| 外部 Agent 能调用的命令行 | |||
| 供 Agent 连接的 MCP 服务器 | 仅客户端 | ||
| 面向 Claude Code / Codex 的 Agent Skill | |||
| Agent 改的设置立刻生效 | |||
| 密钥与许可证文件对 Agent 不可见 | 不适用 | 不适用 | |
| 控制通道有进程签名校验 | 不适用 | 无鉴权 |
在你的 Mac 上装好 AI Agent 控制
安装 Coco 和它的命令行
把 Coco 拖进应用程序文件夹,打开一次。然后在终端里跑一次 coco cli install。它会把 Contents Helpers coco 这个二进制链接进你的 PATH。往后任何终端里 coco 都能直接用。
接上你的 AI Agent
Claude Code、Claude Desktop、Cursor 或 Codex。跑一次 coco mcp install --client claude-code。把 claude-code 换成你在用的那个客户端。没有安装参数的 Agent,比如 ChatGPT。从 coco skill install 里复制那段设置提示词。也可以跑这条命令。npx skills add butterflydream-ai/Coco --skill coco -g -y
让它开始操作你的 Mac
接好以后,让 Agent 去搜剪贴板、开一个应用、截一张图、跑一个插件,或者改一项设置。它调用的是这 71 个方法里的一个。每一次调用和结果都能在 Agent 自己的工具调用日志里看到。
关于在 Mac 上用 AI Agent 控制的常见问题
- 让 AI Agent 通过 Coco 控制我的 Mac 安全吗
- 控制通道只认 Coco 自己签名过的进程。操作系统层面的代码签名校验,在任何请求被处理之前就先跑完。一个脚本冒充不了命令行或者 MCP 服务器。一份拒绝名单排在最前面。AI API 密钥、语音识别密钥、许可证缓存和 Keychain 相关条目都在其中。这条检查先于同意逻辑和路由逻辑,就算是一次合法调用也够不到这些文件。Coco 装好以后默认全部放行,不会为每一次调用弹确认框。但你随时可以在设置里把 Agent 访问整体关掉。也可以单独挡掉某一个方法,比如 clipboard.delete。密码管理器里的条目也会从每一次剪贴板调用的结果里被过滤掉,不管搜索词怎么写。
- 哪些 AI 工具能用上 Coco 的 Agent 层
- 任何支持 MCP 的工具都能通过 coco mcp 连上来。这包括 Claude Code、Claude Desktop、Cursor。也包括 Codex、Windsurf。还包括装了 GitHub Copilot 的 VS Code。以及支持 MCP 的 Gemini 和 Grok 客户端。coco mcp install --client 加上客户端名字,就能自动写好连接配置。Claude Code、Claude Desktop、Cursor、Codex 都在内。ChatGPT、Perplexity 这类不跑本地 MCP 服务器的 Agent。它们也能直接用命令行。装上 Agent Skill,或者把设置提示词复制过去。它就能通过自己的 shell 权限去跑 coco 命令。你 Mac 上任何带 shell 权限的 AI Agent,不管走 MCP 还是走命令行。它们都能够到同样这 71 个方法。
- AI Agent 控制这项功能要额外收费吗
- 不要。Coco 是一次性购买,现在是 49 美元的首发价,之后恢复到 99 美元。没有订阅。命令行、MCP 服务器、Agent Skill 和全部 71 个方法都在这一次购买里。没有单独的 Agent 档位,没有加购license,也不按调用次数收费。如果你已经买过 Coco,更新到带 Agent 层的版本就够了。命令行就装在同一个应用包里的 Contents Helpers coco 那个位置。它不是单独下载的东西。
- 能不能挡掉或者关掉 AI Agent 控制
- 能,有两种办法。设置里的 Agent 访问有一个总开关,关掉以后整条控制通道就断了。本地 socket 会被关闭。任何命令行或者 MCP 连接都够不到 Coco。不想整体关掉的话,同一个面板会按名字列出每一个方法,让你单独挡掉某几个。比如允许 apps.search 和 clipboard.list。同时挡掉 clipboard.delete 和 settings.set。这两种改动对已经连上的 Agent 立刻生效。拒绝名单里的密钥文件不管哪个开关开着都够不到。
复制这段提示词,或者直接发给你已经在用的 AI——它会用你自己会敲的那些命令来驱动 Coco。
安装 Coco 技能(npx skills add butterflydream-ai/Coco --skill coco -g -y),然后用 coco 帮我处理在 Mac 上用 AI Agent 控制 Coco,三条路都通。。