本项目是一个强大的演示,展示了如何将本地大语言模型(LLM)与实时网络搜索功能相结合,通过模型上下文协议(MCP)实现。借助此集成,可极大扩展本地语言模型的能力。
克隆仓库:
git clone https://github.com/redbuilding/ollama-chat-with-mcp.git
cd ollama-chat-with-mcp
安装依赖项:
pip install -r requirements.txt
在项目根目录中创建一个 .env
文件,并添加您的 Serper.dev API 密钥:
SERPER_API_KEY=your_serper_api_key_here
确保 Ollama 已安装并且预设模型可用(默认为 qwen2.5:14b):
ollama pull qwen2.5:14b
要使用基于网页的界面,执行以下命令:
python chat_frontend.py
这将启动 Gradio 网页界面,默认访问地址为 http://localhost:7860
要使用命令行界面,执行以下命令:
python chat_client.py
在两个界面中,您可以使用特殊命令来触发网络搜索:
#search for "金融市场2025年4月展望"
#search for "这周的实境电视节目" 以及最近发生了什么?
clear
help
Ollama 聊天与 MCP 展示了如何通过工具使用扩展本地语言模型的功能。此应用程序结合了本地运行的 LLM 通过 Ollama 提供的强大功能,以及通过 MCP 服务器提供的实时网络搜索功能。
该项目由三个主要组件组成:
通过这种架构,应用程序展示了 MCP 如何使本地模型访问外部工具和数据源,显著增强其能力。
可以根据具体需求自定义多个方面:
我们欢迎社区贡献!请参考 Contributing.md 了解如何参与。
项目在 LICENSE 下发布,详细许可信息请查阅相关文件。