微信扫码
添加专属顾问
我要投稿
探索本地私有大模型的构建与部署,实现高性能AI推理。
核心内容:
1. vLLM:加州大学伯克利分校开发的高性能大语言模型推理引擎
2. ModelScope:阿里巴巴集团开源的模型即服务(MaaS)平台
3. NVIDIA GPU配置与vLLM容器运行指南
vLLM(Vectorized Large Language Model Serving System)是由加州大学伯克利分校团队开发的高性能、易扩展的大语言模型(LLM)推理引擎,专注于通过创新的内存管理和计算优化技术实现高吞吐、低延迟、低成本的模型服务。vLLM采用PagedAttention内存管理技术,显著提升GPU显存利用率,同时支持分布式推理,能高效利用多机多卡资源。无论是低延迟、高吞吐的在线服务,还是资源受限的边缘部署场景,vLLM 都能提供卓越的性能表现。
ModelScope是一个由阿里巴巴集团推出的开源模型即服务(MaaS)平台,旨在简化模型应用的过程,为AI开发者提供灵活、易用、低成本的一站式模型服务产品。该平台汇集了多种最先进的机器学习模型,涵盖自然语言处理、计算机视觉、语音识别等多个领域,并提供丰富的API接口和工具,使开发人员能够轻松地集成和使用这些模型。
pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple
mkdir -p /data/Qwen/models/Qwen-32B
modelscope download --local_dir /data/Qwen/models/Qwen-32B --model Qwen/QWQ-32B
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl daemon-reload && sudo systemctl restart docker
docker pull docker.1panel.live/vllm/vllm-openai
docker run -itd --restart=always --name Qwen-32B \ -v /data/Qwen:/data \ -p 18005:8000 \ --gpus '"device=1,2,3,4"' \ --ipc=host --shm-size=16g \ vllm/vllm-openai:latest \ --dtype bfloat16 \ --served-model-name Qwen-32B \ --model "/data/models/Qwen-32B" \ --tensor-parallel-size 4 \ --gpu-memory-utilization 0.95 \ --max-model-len 81920 \ --api-key token-abc123 \ --enforce-eager
-i(interactive):允许用户与容器进行交互,即使容器不在前台运行。用户可以通过docker logs
或docker attach
命令查看容器的输出日志
-t(tty):分配一个伪TTY(虚拟终端)到容器,模拟终端环境。
-d(detach:在后台运行容器,不占用当前终端。
--restart=always:设置容器在主机重启或容器退出后自动重启。
--name Qwen-32B:为容器指定一个唯一的名称。
/data/Qwen
目录挂载到容器内的/data
目录。避免容器重启或删除而导致的数据丢失问题。--dtype bfloat16:指定使用bfloat16(Brain Floating Point 16)进行模型计算。
--served-model-name Qwen-32B:设置模型的服务名称为“Qwen-32B”,用于API请求时的模型标识。
--model "/data/models/Qwen-32B":指定模型文件的路径为容器内的/data/models/Qwen-32B
。
--tensor-parallel-size 4:设置张量并行的规模为4,对应使用4块GPU进行模型并行计算。
--gpu-memory-utilization 0.85:设置GPU内存使用率为85%,预留15%的内存空间,防止因内存溢出导致的程序崩溃。
--max-model-len 81920:指定模型的最大上下文长度为81920 Token。模型在单次推理中可以处理的输入和输出的总Token数不超过81920个。
--api-key token-abc123:设置API访问密钥为“token-abc123”,调用API时需要在请求头中提供此密钥。
--enforce-eager:启用Eager执行模式,确保模型推理时逐层计算,避免由于延迟执行可能引发的内存问题。
docker pull ghcr.nju.edu.cn/open-webui/open-webui:main
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway \ -v /data/open-webui:/app/backend/data \ --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main
http://localhost:3000
模型ID
留空即可自动从/v1/models
接口中获取,开启新对面默认选择DeepSeek-R1-Distill-Llama-70B模型
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-05-27
盘点 Azure AI Foundry 的10大重要更新
2025-05-27
50个AI基础常识问答(看完理解整个AI行业)
2025-05-27
AI时代下的软件升级:大模型如何让考勤系统听懂人话?
2025-05-27
美团要开放AI编程能力,将推出新产品NoCode|智能涌现独家
2025-05-27
AI大模型3种模式:Embedding、Copilot与Agent深度解析
2025-05-27
AI领域基础概念(下)
2025-05-26
万字长文!AI智能体全面爆发前夜:一文讲透技术架构与行业机会
2025-05-26
国产顶级 DeepResearch 类产品,把咨询专家请回家
2025-04-11
2025-04-12
2025-04-17
2025-04-19
2025-04-15
2025-04-12
2025-04-12
2025-04-12
2025-04-12
2025-04-15
2025-05-27
2025-05-26
2025-05-23
2025-05-23
2025-05-23
2025-05-18
2025-05-18
2025-05-17