我要投稿

AI搜索能力媲美Perplexity Pro，教你如何部署MindSearch

发布日期：2024-08-03 20:01:18 浏览次数： 2360 作者：机智流

✨ MindSearch: 模仿人类思维引发深度人工智能搜索器

MindSearch 是一个开源的 AI 搜索引擎框架，具有与 Perplexity.ai Pro 相同的性能。您可以轻松部署它来构建您自己的搜索引擎，可以使用闭源 LLM（如 GPT、Claude）或开源 LLM（如 InternLM2.5-7b-chat）。其拥有以下特性：

? 任何想知道的问题：MindSearch 通过搜索解决你在生活中遇到的各种问题
深度知识探索：MindSearch 通过数百网页的浏览，提供更广泛、深层次的答案
透明的解决方案路径：MindSearch 提供了思考路径、搜索关键词等完整的内容，提高回复的可信度和可用性。
多种用户界面：为用户提供各种接口，包括 React、Gradio、Streamlit 和本地调试。根据需要选择任意类型。
动态图构建过程：MindSearch 将用户查询分解为图中的子问题节点，并根据 WebSearcher 的搜索结果逐步扩展图。

⚡️ MindSearch VS 其他 AI 搜索引擎

在深度、广度和生成响应的准确性三个方面，对 ChatGPT-Web、Perplexity.ai（Pro）和 MindSearch 的表现进行比较。评估结果基于 100 个由人类专家精心设计的现实问题，并由 5 位专家进行评分*。

所有实验均在 2024 年 7 月 7 日之前完成。

⚽️ 构建您自己的 MindSearch

步骤1: 依赖安装

pip install -r requirements.txt

步骤2: 启动 MindSearch API

启动 FastAPI 服务器

python -m mindsearch.app --lang en --model_format internlm_server

--lang: 模型的语言，en 为英语，cn 为中文。
--model_format: 模型的格式。

internlm_server 为 InternLM2.5-7b-chat 本地服务器。
gpt4 为 GPT4。如果您想使用其他模型，请修改 models

步骤3: 启动 MindSearch 前端

提供以下几种前端界面：

React

# 安装 Node.js 和 npm
# 对于 Ubuntu
sudo apt install nodejs npm
# 对于 Windows
# 从 https://nodejs.org/zh-cn/download/prebuilt-installer 下载

cd frontend/React
npm install
npm start

更多细节请参考 React

Gradio

python frontend/mindsearch_gradio.py

Streamlit

streamlit run frontend/mindsearch_streamlit.py

? 本地调试

python mindsearch/terminal.py

? InternStudio 平台快速部署

选择 InternStudio 算力平台 50% A100 的 cuda 12.2 的开发机，并使用ssh vscode 远程连接到开发机。

MindSearch（欢迎 Star）：https://github.com/InternLM/MindSearch

方法1: 使用免费的搜索接口

激活环境

conda activate /share/pre_envs/mindsearch

打开新终端运行以下命令启动推理后端，使用在“书生大模型实战营”入门岛中学到的方式使用 vscode 或者 ssh 将端口映射到本地 8002 端口。

conda activate /share/pre_envs/mindsearch
cd /share/demo/MindSearchDuck

python -m mindsearch.app --lang cn --model_format internstudio_server

再打开一个新终端运行以下命令启动前端，使用在“书生大模型实战营”入门岛中学到的方式使用 vscode 或者 ssh 将端口映射到本地 7860 端口。

conda activate /share/pre_envs/mindsearch
cd /share/demo/MindSearchDuck

python run.py

本地浏览器打开 http://localhost:7860 地址，开始 MindSearch 之旅。

方法2: 使用 Bing 的接口

激活环境

conda activate /share/pre_envs/mindsearch

打开新终端运行以下命令启动推理后端，使用在“书生大模型实战营”入门岛中学到的方式使用 vscode 或者 ssh 将端口映射到本地 8002 端口。

export BING_API_KEY='YOU BING API Key'
conda activate /share/pre_envs/mindsearch
cd /share/demo/MindSearchBing

python -m mindsearch.app --lang cn --model_format internstudio_server

再打开一个新终端运行以下命令启动前端，使用在“书生大模型实战营”入门岛中学到的方式使用 vscode 或者 ssh 将端口映射到本地 7860 端口。

conda activate /share/pre_envs/mindsearch
cd /share/demo/MindSearchBing

python run.py

? 许可证

该项目按照 Apache 2.0 许可证发行。

学术引用

如果此项目对您的研究有帮助，请参考如下方式进行引用：

@misc{chen2024mindsearchmimickinghumanminds,
      title={MindSearch: Mimicking Human Minds Elicits Deep AI Searcher},
      author={Zehui Chen and Kuikun Liu and Qiuchen Wang and Jiangning Liu and Wenwei Zhang and Kai Chen and Feng Zhao},
      year={2024},
      eprint={2407.20183},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.20183},
}