WebSearch Tools

🚀 WebSearch - 高级网络搜索与内容提取工具

WebSearch 是一款强大的网络搜索和内容提取工具，采用 Python 构建，借助 Firecrawl API 实现高级网络抓取、搜索及内容分析功能，能有效解决网络信息搜索与提取难题，为用户提供便捷、高效的服务。

🚀 快速开始

WebSearch 是一个功能强大的网络搜索和内容提取工具，能帮助你快速从网络获取所需信息。以下是使用该工具的快速指南。

✨ 主要特性

• 智能网络搜索：支持自定义参数的智能搜索，满足多样化搜索需求。
• 内容提取：可通过自然语言提示从网页中精准提取特定信息。
• 网站爬取：能对网站进行爬取，并可灵活配置爬取深度和限制。
• 网络抓取：支持以多种输出格式进行内容抓取。
• MCP 集成：作为模型上下文协议（MCP）服务器，实现无缝集成。

📦 安装指南

先决条件

• Python 3.8 或更高版本
• uv 包管理器
• Firecrawl API 密钥
• OpenAI API 密钥（可选，用于增强功能）
• Tavily API 密钥（可选）

安装步骤

1. 克隆仓库：

   git clone https://github.com/yourusername/WebSearch.git
   cd WebSearch
   

2. 安装依赖项：

   pip install -r requirements.txt
   

3. 配置环境变量：

   • 创建一个 .env 文件（如果尚未创建）。
   • 添加以下内容：

     OPENAI_API_KEY=your_openai_api_key_here
     FIRECRAWL_API_KEY=your_firecrawl_api_key_here
     

4. 运行项目：

   python main.py
   

💻 使用示例

基础用法

from websearch import WebSearch

# 初始化搜索对象
searcher = WebSearch()

# 执行搜索查询
results = searcher.search("Python 教程")

# 处理结果
for result in results:
print(result.url)

高级用法

# 示例：限制搜索结果数量
results = searcher.search("机器学习", max_results=10)

📚 详细文档

功能列表

1. 支持多种网络搜索策略，可根据不同需求灵活选择。
2. 提供强大的内容解析和提取功能，精准获取所需信息。
3. 集成 AI 加速的搜索优化，提高搜索效率。
4. 具备灵活的结果过滤与排序机制，方便筛选出符合要求的结果。

标签

• Python
• Web Scraping
• AI
• API
• 开源项目

📄 许可证

本项目采用 MIT 许可证。

⚠️ 重要提示

使用本工具时，请遵守相关法律法规和网站的使用条款。