🖥️ Screen Vision

AI Screen Vision & Desktop Control Skill for OpenClaw

让 AI 看到屏幕、理解界面、操控电脑——像人一样使用桌面。

---

✨ 功能特性

• 🖱️ 鼠标操控 — 点击、双击、右键、拖拽
• ⌨️ 键盘输入 — 打字、快捷键、功能键
• 📸 屏幕理解 — AI 视觉分析屏幕内容
• 🔄 自主循环 — 截图→分析→操作→循环直到完成
• 💡 智能省 Token — diff 检测，画面没变化不重复分析
• 🔒 安全机制 — 拦截危险操作，敏感操作需确认
• 🖥️ 跨平台 — Linux / macOS / Windows 全支持
• 📱 远程观看 — 无桌面服务器可用 noVNC 网页实时观看

🎬 工作原理

用户说 "帮我打开浏览器搜索天气"
│
▼
┌─ 截屏（scrot/screencapture/pyautogui）
├─ AI 视觉分析（用户自选模型）
│ ├─ 看到什么？
│ ├─ 下一步做什么？
│ └─ 操作坐标是什么？
├─ 执行操作（xdotool/cliclick/pyautogui）
├─ 等待 1 秒
└─ 再次截屏 → 循环
│
▼
任务完成 → 截图汇报结果

📦 安装

方式一：ClawHub 一键安装（推荐）

clawhub install ai-screen-vision

方式二：手动安装

# 克隆到 OpenClaw skills 目录
git clone https://github.com/guitu917/screen-vision.git ~/.openclaw/workspace/skills/screen-vision
# 进入目录运行安装脚本cd~/.openclaw/workspace/skills/screen-vision
bash install.sh

方式三：发送给 OpenClaw

直接把压缩包发给 OpenClaw，AI 会自动解压安装！

一键安装脚本参数

bash install.sh # 自动检测平台
bash install.sh --api-key YOUR_API_KEY # 带 API Key 安装
bash install.sh --headless # Linux 无桌面服务器模式
bash install.sh --desktop # Linux 有桌面环境

⚙️ 配置

API Key（必须）

复制配置模板并填入你的视觉 API Key：

cp config.example.json config.json

编辑 config.json：

{
"vision": {
"baseUrl": "https://api.siliconflow.cn/v1",
"apiKey": "YOUR_API_KEY",
"model": "Qwen/Qwen3-VL-32B"
}
}

或使用环境变量：

export SV_VISION_API_KEY=your_api_key
export SV_VISION_BASE_URL=https://api.siliconflow.cn/v1
export SV_VISION_MODEL=Qwen/Qwen3-VL-32B

支持的视觉模型

本技能支持所有 OpenAI 兼容的视觉 API，不限厂商，用户自由选择。

模型	平台	费用/任务	准确度
Qwen3-VL-32B	硅基流动	低	⭐⭐⭐⭐
GLM-4V-Plus	智谱 BigModel	低	⭐⭐⭐⭐
GPT-5.4-Mini	OpenAI / 中转站	中	⭐⭐⭐⭐⭐
GPT-5.4 CUA	OpenAI	高	⭐⭐⭐⭐⭐
Llama 3.2 Vision	Ollama 本地	免费	⭐⭐

详细配置见 references/API_CONFIG.md，包含各平台注册地址和配置示例。

🖥️ 平台支持

Linux

有桌面环境（Ubuntu Desktop 等）：

bash scripts/setup/setup-linux.sh --desktop

工具：scrot + xdotool，直接操控现有桌面

无桌面服务器（Headless）：

bash scripts/setup/setup-linux.sh --headless

自动安装：XFCE4 桌面 + VNC 服务器 + noVNC 网页端

• 启动：sv-start
• 停止：sv-stop
• 浏览器访问：http://<IP>:6080/vnc.html

macOS

bash scripts/setup/setup-mac.sh

工具：screencapture + cliclick

⚠️ 需要授权：系统设置 → 隐私与安全 → 辅助功能 → 添加终端/OpenClaw

Windows

powershell -ExecutionPolicy Bypass -File scripts/setup/setup-win.ps1

工具：pyautogui（Python），无需额外配置

🎯 使用方式

在 OpenClaw 中直接用自然语言：

"帮我打开Chrome搜索北京天气"
"看看屏幕上有什么"
"帮我打开终端执行 ls -la"
"截个屏给我看看"
"帮我把这个文件拖到回收站"
"打开微信发消息给张三"

📁 项目结构

screen-vision/
├── SKILL.md # Skill 入口说明（AI 读取）
├── config.example.json # 配置模板
├── install.sh # 一键安装脚本
│
├── scripts/
│ ├── setup/ # 各平台安装脚本
│ │ ├── setup-linux.sh
│ │ ├── setup-mac.sh
│ │ └── setup-win.ps1
│ │
│ ├── platform/ # 平台适配层
│ │ ├── detect_os.sh # 平台检测
│ │ ├── screenshot.sh # 跨平台截屏
│ │ └── execute.py # 统一操作执行器
│ │
│ ├── vision/ # 视觉引擎
│ │ ├── analyze.py # AI 视觉 API 调用
│ │ └── diff_check.py # 图片变化检测（省 Token）
│ │
│ └── core/ # 核心引擎
│ ├── run_task.py # 主循环任务执行器
│ ├── safety_check.py # 安全检查
│ └── config.py # 配置管理
│
└── references/ # 参考文档
├── PLATFORM_GUIDE.md # 各平台工具详情
├── API_CONFIG.md # API 配置说明
└── EXAMPLES.md # 使用示例

🔒 安全机制

• ❌ 自动拦截：rm -rf /、格式化磁盘、shutdown、drop database 等
• ⚠️需确认：涉及删除、sudo、支付等敏感操作
• ⏱️ 超时保护：最长 5 分钟 / 100 步自动停止
• 📸 操作日志：所有截图保存到 /tmp/screen-vision/logs/
• 🛑 错误停止：API 错误自动停止任务

📄 License

MIT License

---

Powered by OpenClaw | Published on ClawHub