langchain-chatchat是一个基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的检索增强生成(RAG)大模型知识库项目，采用Apache License，可以免费商用。该项目支持市面上主流的本地大语言模型和Embedding模型，支持开源的本地向量数据库。
1.docker一键部署
不需要在宿主机上安装CUDA，但需要安装NVIDIA Driver以及NVIDIA Container Toolkit，安装方法参考https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html，接下来使用docker一键部署：
docker run -d --gpus all -p 8501:8501 --name langchain-chatchat registry.cn-beijing.aliyuncs.com/chatchat/chatchat:0.2.7
镜像43.1G，需要等待较长时间。部署成功后访问http://localhost:8501
2.聊天
3.知识库
知识库的功能做的还不错，新建知识库时有多种Embedding模型可以选择：问答前需要选择模型，并且选择一个知识库（一个知识库可以包含多个文档），作者找了一个新闻测试知识库问答，没有回答出来，知识库问答需要嵌入模型、分词参数和大模型结合使用，可能还是配置的不合理。
4.总结
个人感觉聊天的体验一般，知识库的功能设计还不错，但是问答的效果不太好，感兴趣的朋友可以留言讨论一下用哪些模型和参数能达到比较好的效果，也可以推荐一些实测效果较好的项目。
粤ICP备17114055号
支持私有化部署
