🚀 Firecrawl MCP 服务器
Firecrawl MCP 服务器是一款基于 Firecrawl API 的强大工具，它遵循 Model Context Protocol (MCP)，可用于网络爬虫、内容搜索、网站抓取和数据提取，为用户提供高效、全面的网络数据处理解决方案。
🚀 快速开始
- 在 开发者门户 获取您的 Firecrawl API 密钥。
- 环境变量中设置 API 密钥：
export FIRECRAWL_API_KEY=your_api_key_here - 从以下示例开始：
✨ 主要特性
- 网络爬虫：可从任意网页中提取内容，支持丰富的自定义选项，如移动设备模拟、广告和弹窗拦截、内容过滤、结构化数据提取以及多种输出格式。
- 内容搜索：具备智能搜索功能，支持多语言，可基于位置提供搜索结果，支持自定义结果限制和结构化输出格式。
- 网站抓取：拥有高级网络抓取功能，可进行深度控制、路径过滤、速率限制、进度跟踪以及网站地图集成。
- 网站映射：能够生成网站结构图，支持子域名，具备搜索筛选、链接分析和视觉层次分析功能。
- 数据提取：可从多个 URL 中提取结构化数据，提供校验方案、批处理、网站搜索增强和自定义提取提示。
📦 安装指南
# 全局安装
npm install -g @modelcontextprotocol/mcp-server-firecrawl
# 项目本地安装
npm install @modelcontextprotocol/mcp-server-firecrawl
💻 使用示例
基础用法
import { FireCrawler } from '@modelcontextprotocol/mcp-server-firecrawl';
async function basicScrape() {
const crawler = new FireCrawler({
apiKey: 'your_api_key_here',
});
const result = await crawler.scrape('https://example.com');
console.log(result);
}
basicScrape();
高级用法
import { FireCrawler } from '@modelcontextprotocol/mcp-server-firecrawl';
async function crawlAndMap() {
const crawler = new FireCrawler({
apiKey: 'your_api_key_here',
});
// 爬取网站
const crawlResult = await crawler.crawl('https://example.com');
console.log('爬取结果:', crawlResult);
// 生成网站地图
const mapResult = await crawler.createMap('example', ['https://example.com']);
console.log('网站地图创建结果:', mapResult);
}
crawlAndMap();
📚 详细文档
集成
安装依赖
npm install @modelcontextprotocol/mcp-server-firecrawl
创建 MCP 服务器实例
import { FireCrawler } from '@modelcontextprotocol/mcp-server-firecrawl';
const crawler = new FireCrawler({
apiKey: 'your_api_key_here',
});
// 启动服务器
crawler.listen(3000, () => {
console.log('Server is running on http://localhost:3000');
});
错误处理
服务器实现强大的错误处理：
- 带指数回退的速率限制
- 自动重试
- 详细错误消息
- 调试日志记录
安全
- API 密钥保护
- 请求验证
- 名单白列表
- 速率限制
- 安全错误消息
开发
# 安装依赖
npm install
# 构建
npm run build
# 运行测试
npm test
# 在开发模式下启动
npm run dev
示例
查看 examples 目录中的更多使用示例：
- 基本爬虫：scrape.ts
- 爬取和映射：crawl-and-map.ts
贡献
查看 CONTRIBUTING.md 了解贡献指南。
📄 许可证
本项目采用 MIT License，查看 LICENSE 以获取详细信息。