ESP32 iPhone Agent开源，让40多元ESP32变身iPhone版豆包手机助手

BiRun 讯，开发者 Henry 开源了 ESP32 iPhone Agent，只需一块约 40–50 元的 XIAO ESP32S3 开发板，配合手机 App，就能让 AI 操作真实的 iPhone，打开其他 App、点击按钮、滑动屏幕。它不需要越狱，也不依赖苹果 XCTest 的测试权限。

实现方式很巧妙。ESP32 自己建立 Wi-Fi 热点，充当 AirPlay 投屏接收器。iPhone 把屏幕画面投给开发板，板子不负责解码，而是通过蓝牙把压缩视频传回同一部手机上的 Agent App。

App 调用视觉模型识别界面、决定下一步，再通过蓝牙发送指令，让 ESP32 模拟 USB 鼠标和键盘操作手机。为了避免点击位置偏移，系统还会自动校准鼠标指针，必要时根据画面修正位置。

这套方案用普通 ESP32-S3 就把屏幕接收和输入模拟结合起来，不需要 NanoKVM Go 那样的专用视频采集硬件。Agent 直接在 iPhone 上运行，模型推理则依赖外部 API 或自建服务器。由于手机的 Wi-Fi 被开发板热点占用，默认需要通过蜂窝网络访问模型。首次刷写固件、编译安装 iPhone App 仍需要 Mac 和 Xcode。

受蓝牙带宽限制，传回的画面只有 480×1040 分辨率，最高每秒 5 帧，每步操作通常需要几秒。目前触控坐标只适配竖屏界面，键盘输入仅支持 ASCII 字符，锁屏后也无法继续投屏。

信源

动察 Beating 频道 · 动察 Beating 交流群。