🚀 计算机使用 AI SDK
计算机使用 AI SDK 是由 screenpipe 推出的开源工具，它构建了一个控制计算机的 MCP 服务器。当下，OpenAI 的操作符以及 Claude 的计算机使用功能备受关注，而此 SDK 则是它们的开源替代方案。它能在 macOS 上本地运行，无需虚拟机，也没有限制，可与任意应用程序或网站搭配使用。并且，它依托底层桌面渲染元素，相比基于像素的视觉模型，速度更快、可靠性更高。你可以借助我们简单的 Hello World 模板，利用 MCP 服务器和客户端构建自己的代理。
🚀 快速开始
克隆仓库
git clone https://github.com/m13v/computer-use-ai-sdk.git
cd MCP-server-client-computer-use-ai-sdk
安装依赖
# 安装Rust（如果尚未安装）
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
# 安装Node.js和npm（如果尚未安装）
# 访问 https://nodejs.org/ 或使用nvm
运行后端服务器
# 运行后端服务器
cd mcp-server-os-level
cargo run --bin server
# 保持运行状态
选择运行界面
选项 1：命令行界面
# 在新终端中运行CLI界面客户端（适合调试）
cd mcp-client-cli-interface
npm install # 首先安装依赖项
# 设置Anthropic API密钥作为环境变量
export ANTHROPIC_API_KEY=sk-ant-xxxx # 将xxxx替换为你的实际Anthropic API密钥
# 对于Windows，请使用：set ANTHROPIC_API_KEY=sk-ant-xxxx
# 想要永久设置，请将其添加到shell配置文件（.bashrc, .zshrc等）
npx tsx main.ts
选项 2：Web 应用程序界面
# 在新终端中运行CLI界面客户端（适合调试）
cd mcp-client-nextjs
npm install # 首先安装依赖项
# 通过命令行设置API密钥
echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" > .env # 将XXXXXXXX替换为你的实际密钥
# 或追加以保留其他环境变量
# echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" >> .env
npm run dev
# 打开提供的localhost网页
✨ 主要特性
- 开源替代：作为 OpenAI 操作符和 Claude 计算机使用功能的开源替代方案。
- 本地运行：可在 macOS 上本地运行，无需虚拟机，无使用限制。
- 兼容性强：能与任何应用程序或网站自由结合使用。
- 高效可靠：依赖底层桌面渲染元素，比基于像素的视觉模型更快且可靠。
- 功能丰富：MCP 服务器提供启动应用程序、读取内容、点击、输入文本、按下键等工具。
💻 使用示例
示例演示
代理发送消息
获取最新 WhatsApp 消息
打开 Arc 浏览器
📚 详细文档
可实现的功能
- 构建自定义工作流：构建自定义工作流程代理以执行各种操作。
- 创建自动化界面：为用户构建易于使用的计算机自动化界面。
- 保存与定时运行：保存工作流程并设置 cron 定时运行。
- 结合其他服务器：结合其他 MCP 服务器完成酷炫任务，例如根据你全天与之对话的人的历史记录填充 Google 表格。
反馈渠道
如果你有任何问题或功能请求，请在我们的 GitHub 仓库 中提交。