我要投稿
掌握本地大模型部署技巧，体验Cherry Studio带来的便捷。 核心内容： 1. Cherry Studio如何接入vLLM部署的本地大模型 2. 详细步骤：从下载Cherry Studio到配置本地模型ollama 3. 注意事项：模型名称、API配置及OpenAI API兼容性问题
接入本地大模型，vLLM部署，Ascend 910B4服务器，以OpenAI API兼容格式对外提供服务。
这其实就是一个很方便的UI客户端，LLM来源是各个线上云服务厂商或是本地部署的大模型，很方便。
下载好cherry studio，默认启用的模型服务是硅基流动，比较快速且方便简单。
参考：使用硅基流动API + Cherry Studio解锁DeepSeek R1满血版体验全攻略[1]
下载cherry studio客户端，接入本地部署的模型，步骤如下：
设置->模型服务->Ollama
先选择下面的 添加 按钮，填入部署时设置的模型名称（model-name）
然后 选择 管理 将模型添加进去，最后就是配置API地址，我没有设置api-key因此不需要API密钥。
最后在默认模型->默认助手模型，选择自己部署的本地模型ollama。虽然我们在本地部署是基于vllm，但是对于ollama与vllm等中间件提供推理服务时，都是会支持openai api格式的API服务提供的。
最后在对话这里显示的就是我们选择的模型服务。当然在这之前，要在模型服务界面设置好API后，点击 "检测" 使用一下，如果一切通畅，会提示 "连接成功" 的提示；这点也是很关键的。
但是能不能提供一下vllm的服务类型呀，虽然选择ollama也能达到最终的效果，但有些突兀且需要自己摸索下。
要先添加模型，且要对上模型名称，然后就是管理，最后填对API信息即可，主要是选择好ollama。OpenAI的我也试了下，没有成功，而且提示旧的API调用不行，估计有点不一样吧，但不影响。
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-05-26
DeepSeek V3 0526更新？实测代码能力已经提升，附实测案例。
2025-05-26
从MCP实践到开发简单的MCP服务
2025-05-26
MCP Server的五种主流架构与Nacos的选择
2025-05-25
一文搞懂大模型的预训练（Pre-training）
2025-05-24
颠覆认知！大模型自检自改新范式，彻底告别人工标注
2025-05-23
Reasoning模型蒸馏实践：用大模型提升小模型能力
2025-05-23
OpenAI 重磅推出！核心API新增MCP功能，智能体开发迎来翻天覆地的变化
2025-05-22
如何让 Agent 规划调用工具
2025-02-04
2025-02-04
2024-09-18
2024-07-11
2024-07-09
2024-07-11
2024-07-26
2025-02-05
2025-01-27
2025-02-01
回到顶部
粤ICP备17114055号
