我要投稿

基础篇| 大模型部署框架

发布日期：2024-09-25 22:29:31 浏览次数： 2136

作者：程序猿阿三

微信搜一搜，关注“程序猿阿三”

为什么要有大模型部署框架?

为什么有了推理框架，还要来一个什么部署框架？上节内容我们介绍了有12种大模型推理框架，虽然多，但是现在业界尚不存在各方面都远超其同类产品的推理框架，不同推理引擎在不同平台，硬件和模式下分别具有各自的优势，比如TensorRT有足够多的灵活性，在GPU执行时可以共享上下文，可以使用外部内存用于推理等，OpenVINO有高吞吐率模式，可以CPU与GPU异构设备同时推理。作为应用开发者，为了实现最优效率，如果针对不同环境都写一套代码去适配其最优推理框架，其耗费的学习成本和精力及代码量都将极其巨大。

这时候有大模型部署框架用武之地，大模型部署框架作为一种高效、灵活的部署方式，能够大大提高模型训练和部署的效率，降低模型在部署过程中的时间和成本。

02 部署框架对比

【重磅】一键接入扣子、Dify，FastGPT等开发平台

企业内部AI 先行者已通过扣子、Dify 等智能体开发平台积极探索 "人 + AI" 的效率革新。这些应用大多局限于小范围应用，基于此，我们打造一款开箱即用的 AI 门户-53AI Hub，让企业实现从 "场景级效率优化" 到 "企业级生产力重构" 的跨越....

模型部署框架	Xinference	LocalAI	Ollama	FastChat
OpenAI API 接口对齐	支持	支持	支持	支持
加速推理引擎	GPTQ, GGML, vLLM, TensorRT, mlx	GPTQ, GGML, vLLM, TensorRT	GGUF, GGML	vLLM
接入模型类型	LLM, Embedding, Rerank, Text-to-Image, Vision, Audio	LLM, Embedding, Rerank, Text-to-Image, Vision, Audio	LLM, Text-to-Image, Vision	LLM, Vision
Function Call	支持	支持	支持	/
更多平台支持(CPU, Metal)	支持	支持	支持	支持
异构	支持	支持	/	/
集群	支持	支持	/	/
操作文档链接	https://inference.readthedocs.io/zh-cn/latest/models/builtin/index.html	https://localai.io/model-compatibility/	https://github.com/ollama/ollama?tab=readme-ov-file#model-library	https://github.com/lm-sys/FastChat#install
可用模型	支持上百种大模型，https://inference.readthedocs.io/zh-cn/latest/models/builtin/index.html	https://localai.io/model-compatibility/#/	https://ollama.com/library#/	https://github.com/lm-sys/FastChat/blob/main/docs/model_support.md

03 总结

从支持模型数量,以及各种特性来看, xinference框架特性最全,支持模型最多, 从易用性来说, ollama绝对适用于一些初学者。

有了部署框架,对LLM一知半解的后端人员也能轻易部署LLM模型,不需要深入了解每个模型.。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-05-27

盘点 Azure AI Foundry 的10大重要更新

2025-05-27

50个AI基础常识问答（看完理解整个AI行业）

2025-05-27

AI时代下的软件升级：大模型如何让考勤系统听懂人话？

2025-05-27

美团要开放AI编程能力，将推出新产品NoCode｜智能涌现独家

2025-05-27

AI领域基础概念(下)

2025-05-26

万字长文！AI智能体全面爆发前夜：一文讲透技术架构与行业机会

2025-05-26

国产顶级 DeepResearch 类产品，把咨询专家请回家

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

豆包，让有独立显卡的电脑都能部署本地大模型，语料库就是电脑里的文件

2025-04-17

n8n + mcp王炸组合：5个节点轻松搭建一个AI工作流

2025-04-19

谈谈MCP协议，如何缓解我们对大模型“数据安全”的焦虑

2025-04-15

微软突发“封杀令”！全面禁止Cursor使用C、C++、C# 扩展，开发者被迫回退版本

2025-04-12

GPT-4.1深夜偷袭！OpenAI掏出史上最小、最快、最便宜三大模型，百万token上下文

2025-04-15

万字长文深入浅出文本嵌入（Text-Embedding）技术

2025-04-13

刚刚，OpenAI发布GPT-4.1，性能暴涨、100万上下文

2025-04-15

行业必读丨OpenAI 最新报告：构建 Agents 最佳实践

2025-04-20

分而治之：全面解析分布式分离 Inference 系统

2025-04-29

详解A2A(Agent2Agent)协议

2025-04-13

大家都在问

AI时代下的软件升级：大模型如何让考勤系统听懂人话？

2025-05-27

AI搜索+DeepResearch=？

2025-05-26

大模型 Agent 就是文字艺术吗？

2025-05-23

今天的Agent，就是十年前的小程序？

2025-05-23

从Agent到Agentic AI：大语言模型真的在向"智能体"进化吗？

2025-05-23

震惊，大模型推理的两个阶段，速度竟然相差140倍！一个实验告诉你为什么大模型推理时需要PD分离？

2025-05-18

推理大模型与普通大模型的区别是什么？

2025-05-18

2025AI 圈的 “新物种”：MCP、Fellou、Manus、Browser等都是啥？和纯AI大模型有何区别？如何选？

2025-05-17

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部