从界面观察到实际操作
电脑控制先列出正在运行的应用,再为任务建立指定应用的控制会话。工具可以读取可访问性界面信息,在条件允许时读取截图,并执行点击、输入、滚动、拖拽或按键。
先自行打开要处理的应用,再让智能体读取当前界面并执行指定动作。
三个条件分别确认
【设置】→【电脑控制】中的总开关决定功能是否可用;任务中的应用控制批准决定本次是否允许操作该应用;系统权限决定 macOS 是否允许组件读取或控制界面。
macOS 权限列表中的组件名称是 Cherry Computer Use。这是随 BLACK HOLE 安装的电脑控制组件。应按设置页面提示检查它的【辅助功能】与【屏幕录制】权限,不能只看到 BLACK HOLE 或 Cherry Studio 已开启就判断完成。
模型能读到什么,影响它能做什么
读取到的界面文字或截图会交给当前选择的模型处理。文本模型可以依赖可访问性元素信息;截图坐标点击和拖拽需要支持图像的模型以及可用截图。
操作取决于应用提供的可访问性信息、截图权限与当前页面状态。先用小任务确认读取、点击和输入是否有效。
随时停止,由你决定是否恢复
在【电脑控制】的控制会话中可以停止指定应用,或点击【立即停止】。由你停止的会话会保持阻止,只有你选择【恢复控制】后才能继续。
发送消息、发布内容、购买或修改外部数据等行为应有明确授权。第一次尝试可以只做读取或填写草稿,把提交留在确认之后。
开始使用
完成一次可控的电脑操作
打开一个测试应用
先打开需要处理的软件,选择一个不含敏感资料、可恢复的小任务,例如在临时文本窗口填写一段草稿。
检查电脑控制状态
在设置的电脑控制页面确认总开关与系统权限状态。点击对应授权入口后,由你在macOS系统窗口完成授权。
核对正确组件
在系统隐私与安全性中核对 Cherry Computer Use 的辅助功能与屏幕录制权限。按系统提示重启相关应用后,回到客户端刷新状态。
给出范围并批准控制
告诉智能体要操作哪个已打开应用、填写什么、哪些按钮不要点。核对本次应用控制请求,再允许执行。
检查结果,再决定下一步
先看内容是否落在正确位置;必要时立即停止。授权、工具完成与任务成功是不同结果,最终以应用里看到的内容为准。
请只操作我已打开的临时文本窗口。先读取当前界面,再输入“电脑控制测试”。不要保存、发送或点击其他应用。完成后告诉我文字出现的位置,我来检查。
使用范围
- 功能开关默认开启,也需要你本人完成系统授权。本页介绍 macOS 的设置方式;安装包以下载页为准。
- 界面文字和截图会交给当前模型处理。只打开任务所需内容,并在发送、发布或提交前明确操作范围。
常见问题
为什么允许控制后还是不能截图?
应用控制批准和屏幕录制是不同条件。回到电脑控制设置检查系统权限状态,并核对macOS列表里的 Cherry Computer Use 组件。
是不是所有模型都能操作所有应用?
不能这样保证。模型的工具与视觉能力、应用暴露的界面信息、系统权限及当前页面状态都会影响操作。先用小任务验证实际点击、输入和读取结果。
停止之后智能体会自己恢复吗?
用户停止的控制会保持阻止,需要你在控制入口点击恢复控制。停止状态不确定时,先保存工作,再按界面提示处理。
