手机无线自动化

数据线让自动化停留在工作台上

现有的手机自动化方案需要手机通过 USB 与电脑保持连接。它适合开发和调试，却不适合真正的日常使用：手机一旦离开桌面，智能体就失去感知和操作通道。

这次概念验证想回答一个更直接的问题：在用户明确授权的前提下，AI 能不能通过可信无线网络连接手机，理解当前画面并连续完成任务，形成类似豆包手机助手的交互效果？

需要同时解决的约束

• 连接必须由用户主动授权，并限制在可信设备与可信网络内；
• 无线链路会抖动或中断，操作不能因此失控或无限重试；
• AI 每执行一步都要重新读取结果，不能把“命令已发送”当成“任务已完成”；
• 涉及账号、支付、隐私和系统设置的敏感动作必须停下来等待确认。

把无线连接接入原有智能体闭环

方案不会让模型直接获得不受限制的手机控制权，而是在现有工具层前增加经过授权的无线设备通道。AI 负责理解任务和规划下一步，执行层只开放截图、点击、滑动、输入、启动应用和读取结果等有限能力。

第一阶段采用 Android 无线调试能力建立设备连接，通过 MCP 向智能体提供结构化工具；视觉理解用于处理控件树不可用的界面，规则层负责限制动作范围、超时和确认条件。

概念结构

使用者提出任务
  → 智能体拆解步骤
  → MCP 工具校验动作
  → 无线设备通道执行
  → 截图 / 界面状态回传
  → 智能体判断完成、继续或停止

1. 授权设备：用户在手机端开启无线调试，并完成一次性配对。
2. 建立会话：服务只连接已登记的设备，检查网络、屏幕尺寸和当前前台应用。
3. 理解界面：读取截图和可用的界面结构，判断当前状态与可执行动作。
4. 执行一步：发送一次点击、滑动、输入或启动应用指令。
5. 校验结果：重新获取屏幕状态，确认动作是否达到预期。
6. 安全收尾：遇到断线、界面异常或敏感操作时立即停止，并把状态交还给用户。

当前尚未发布可复现演示。首个演示会选择低风险任务，验证同一局域网内从自然语言指令到打开应用、完成有限操作、确认结果的完整闭环。

在连接稳定性、误操作保护和断线恢复通过验证以前，本方案不会标记为“开发中”或“可直接使用”。

v0.0.1 · 概念建立

确定五项验证目标：无线配对与重连、屏幕感知延迟、基础动作闭环、敏感动作确认、断线后的安全停止。下一步先在单台 Android 设备和可信局域网内完成最小验证。