Search Scrape

🚀 Search-Scrape

Search-Scrape 是一款专为 AI 助手打造的免费网络搜索与数据抓取 MCP 工具。无需 API 密钥，不产生费用，无使用限制。

✨ 主要特性

• 🔍 高级搜索：全面支持 SearXNG 参数（搜索引擎、搜索类别、语言、安全搜索、时间范围）
• 🕷️ 优化抓取：智能提取内容，过滤噪音并移除广告
• 🔧 原生 MCP 工具：可直接与 VS Code、Cursor 等 AI 助手集成
• 💰 完全免费：无需 API 密钥或订阅服务
• 🛡️ 隐私至上：所有处理均在本地进行

📸 截图

以下是展示 MCP 工具在 Vscode、Cursor、Trae 中运行的截图：

网页搜索工具

URL 抓取工具

🚀 快速开始

# 1. 启动 SearXNG 搜索引擎
docker-compose up searxng -d

# 2. 构建 MCP 服务器
cd mcp-server && cargo build --release

# 3. 添加到你的 AI 助手的 MCP 配置中：
{
"mcpServers": {
"search-scrape": {
"command": "/path/to/mcp-server/target/release/mcp-stdio",
"env": { "SEARXNG_URL": "http://localhost:8888" }
}
}
}

💻 使用示例

search_web - 高级网页搜索

支持完整的 SearXNG 参数：

• engines：google、bing、duckduckgo 等
• categories：general、news、it、science 等
• language：en、es、fr、de 等
• safesearch：0（关闭）、1（适中）、2（严格）
• time_range：day、week、month、year
• pageno：分页页码

{
"query": "rust programming",
"engines": "google,bing",
"categories": "it,general",
"language": "en",
"safesearch": 1,
"time_range": "month"
}

scrape_url - 优化内容提取

智能抓取并进行高级清理：

• ✅ 移除广告、导航栏和样板内容
• ✅ 提取干净的文章文本和结构化数据
• ✅ 保留标题、列表和重要格式
• ✅ 处理文档网站（mdBook、GitBook 等）
• ✅ 为难抓取的网站提供备用提取方法

{
"url": "https://doc.rust-lang.org/book/ch01-00-getting-started.html"
}

🛠️ 开发

# 测试带参数的搜索
curl -X POST "http://localhost:5000/search" \
-H "Content-Type: application/json" \
-d '{"query": "AI", "engines": "google", "language": "en"}'

# 测试优化抓取
curl -X POST "http://localhost:5000/scrape" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com"}'

📁 项目结构

├── mcp-server/           # 原生 Rust MCP 服务器
│   ├── src/
│   │   ├── search.rs     # 支持全参数的 SearXNG 集成
│   │   ├── scrape.rs     # 优化内容提取
│   │   └── rust_scraper.rs # 高级清理与噪音过滤
│   └── target/release/   # MCP 二进制文件
├── searxng/             # SearXNG 配置
└── docker-compose.yml   # 容器编排