我要投稿

DeepSeek大模型新王|DeepSeek R1/R1-Zero开源来袭~

发布日期：2025-01-22 12:20:31 浏览次数： 2777 作者：AI技术研习社

DeepSeek-V3，这是一个强大的专家混合（MoE）语言模型，总共有 671B 个参数，每个令牌激活了 37B。

论文链接：https://github.com/deepseek-ai/DeepSeek-V3/blob/main/DeepSeek_V3.pdf

为了实现高效的推理和具有成本效益的训练，DeepSeek-V3 采用了多头潜在注意力（MLA）和 DeepSeekMoE 架构，这些架构在 DeepSeek-V2 中得到了全面验证。

此外，DeepSeek-V3 开创了一种用于负载均衡的辅助无损策略，并设定了多标记预测训练目标以获得更强的性能。我们在 14.8 万亿个多样化和高质量的代币上对 DeepSeek-V3 进行预训练，然后是监督微调和强化学习阶段，以充分利用其功能。

综合评估表明，DeepSeek-V3 的性能优于其他开源模型，并实现了与领先的闭源模型相当的性能。尽管性能出色，但 DeepSeek-V3 只需要 2.788M H800 GPU 小时即可进行完整训练。此外，它的训练过程非常稳定。在整个训练过程中，我们没有遇到任何无法恢复的损失峰值或执行任何回滚。

延续便宜大碗特点的基础之上，DeepSeek V3发布即完全开源，直接用了53页论文把训练细节和盘托出的那种。

怎么说呢，QLoRA一作的一个词评价就是：优雅。

具体来说，DeepSeek V3是一个参数量为671B的MoE模型，激活37B，在14.8T高质量token上进行了预训练。

在多项测评上，DeepSeek V3达到了开源SOTA，超越Llama 3.1 405B，能和GPT-4o、Claude 3.5 Sonnet等TOP模型正面掰掰手腕

其价格比Claude 3.5 Haiku还便宜，仅为Claude 3.5 Sonnet的9%。

在创建 API key 之后，你可以使用以下样例脚本的来访问 DeepSeek API。样例为非流式输出，您可以将 stream 设置为 true 来使用流式输出。

# Please install OpenAI SDK first: `pip3 install openai`
from openai import OpenAI
client = OpenAI(api_key="<DeepSeek API Key>", base_url="https://api.deepseek.com")
response = client.chat.completions.create(    model="deepseek-chat",    messages=[        {"role": "system", "content": "You are a helpful assistant"},        {"role": "user", "content": "Hello"},    ],    stream=False)
print(response.choices[0].message.content)

距离DeepSeek-V3开源不到一个月，DeepSeek刚刚又开源了全新推理模型DeepSeek R1、DeepSeek R1-Zero，全面提升推理能力，效果媲美o1。

DeepSeek-R1正式发布：API上线、技术报告公开、一口气开源了8个模型，DeepSeek-R1-Distill不要671B，最低只有1.5B（7B, 8B, 14B, 32B, 和70），完全可以run起来~

DeepSeek-R1-Distill 模型的使用方式与 Qwen 或 Llama 模型相同。

例如，您可以使用 vLLM 轻松启动服务：

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-05-27

Dify工具插件开发和智能体开发全流程实战

2025-05-27

一个让工作效率翻倍的AI神器，Cherry Studio你值得拥有！

2025-05-27

Docext：无需 OCR，本地部署的文档提取神器，企业数据处理新选择

2025-05-26

太猛了，字节把GPT-4o级图像模型开源了！

2025-05-26

Qwen3硬核解析：从36万亿Token到“思考预算”

2025-05-26

蚂蚁集团开源antv的MCP服务：AI智能体与数据可视化的桥梁如何搭建？

2025-05-26

MinerU：高精度纸媒文档解析与数据提取一站式解决方案

2025-05-26

顶级开发者默默换掉了基础大模型

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

我把最近爆火的 DeepSeek-V3 接到了 Cursor！

2025-01-01

万字详解DeepSeek-R1，引爆AI圈的又一力作，大模型爆发势不可挡！

2025-01-21

太强了！10大开源大模型！

2024-05-06

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

2024-09-20

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

2024-07-20

如何免费使用 Claude AI？Claude使用指南！

2024-07-11

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

DeepSeek-V3 正式发布

2024-12-26

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

大家都在问

蚂蚁集团开源antv的MCP服务：AI智能体与数据可视化的桥梁如何搭建？

2025-05-26

拆解OpenAI最大对手的杀手锏：为什么会是MCP？

2025-05-25

从基础大模型到场景适配，企业如何做好商业化最后一公里？

2025-05-23

AI 开源框架：Dify、Zylon、AutoGPT、Flowise、LangChain、React-Flow怎么选？

2025-05-17

刚刚，OpenAI丢出最强编程智能体Codex！倒反天罡——新上线功能竟是微软Copilotb鼻祖？

2025-05-17

刚刚，OpenAI发布自主编码代理Codex，程序员的工作将被彻底颠覆？

2025-05-17

告别谷歌！阿里开源ZeroSearch大模型搜索成本直降88%，性能竟超原版？

2025-05-16

事实证明千问qwen3小模型才是企业的生产力，他究竟能做什么呢？

2025-05-14

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB