Gemini 开始替你操作 Mac:AI 助手从聊天框走进了桌面

11 月 19 日,Google 在官方博客上宣布了一件事:Mac 版 Gemini 应用里加了电脑操作(computer use)功能。

意思就是,你跟 Gemini 说一声,它能在你的 Mac 上动手了——点鼠标、打字、翻菜单、填表格,跨好几个应用把一件事做完。

它是怎么干活的

和你想的可能不太一样,Gemini 不是直接接管你的屏幕。它在一个隔离的后台窗口里操作,你的主屏幕和光标完全不受影响,你可以继续打字、做设计、接电话。聊天窗口里还有个实时预览,能看到它正在干什么。

Google 官方举了几个例子:

  • 批量给照片调色,或者在 3D 软件里搭一个复杂的场景;
  • 从本地 PDF 里提取重量、尺寸、地址,填进多栏的运费报价单;
  • 从好几个地区的实时仪表盘上拉数据和截图,拼成一份能直接讲的 Slides 演示;
  • 分析本地文件夹里的衣服照片,查查价格,帮你把二手上架的信息先准备好。

说白了,都是那种「步骤多、每个步骤都不难、但加起来很磨人」的活。以前 AI 只能告诉你怎么做,现在它能直接上手帮你做。

现在谁能用

门槛列一下,因为不少人看到新闻就想试,结果发现用不了:

  • 得是 Apple Silicon 的 Mac,系统要 macOS Sequoia 15.0 或更高,Intel 的 Mac 暂时不行;
  • 得是年满 18 岁的个人 Google 账号,工作或学校账号暂时不行;
  • 得订阅 Google AI Plus、Pro 或 Ultra 中的一个,免费账号用不了;
  • 目前只在美国推送,只支持英文。

Google 说功能正在逐步推送,符合条件的账号也不一定第一天就能看到。

另外要提醒一句:打开这个功能,macOS 会要求授权辅助功能和屏幕录制权限。这是它能「看见」屏幕、能点能敲的前提。授权之前想清楚,哪些应用允许它操作,哪些不允许——Google 在应用设置里给了「允许的应用」列表,可以自己管。

从聊天框到桌面,是个转折

这件事值得写,不只是因为多了一个功能。过去几年 AI 助手的主战场是聊天框:你问,它答,答完就结束。你要它做的事,基本还得你自己动手。

电脑操作功能把边界往前推了一步:助手开始直接操作系统了。Google 不是第一家做这个的,Anthropic 的 Claude 之前也有类似的能力,OpenAI 也在往这个方向走。但 Google 把它放进 Mac 应用、面向普通订阅用户,意味着这类功能开始从演示走向日常使用。

当然,现在还远谈不上放心全权交给它。填错一个数字、点错一个按钮,代价可能比省下的时间大。所以现阶段更现实的用法是:让它处理那些出错成本低、步骤重复的活,重要的、涉及钱的步骤,还是自己看一眼再确认。

技术往前走的时候,判断力反而更值钱了。

来源:Google 官方博客、PYMNTS。