我要投稿

从 HuggingFace 下载大模型时，我们下载了什么

发布日期：2025-03-22 03:36:59 浏览次数： 1749

作者：算法工程笔记

微信搜一搜，关注“算法工程笔记”

在当今大模型飞速发展的时代，HuggingFace 已经成为 AI 研究者和开发者绕不开的重要平台。
这里不仅有各种开源的大模型，还有丰富的数据集，为大家的 AI 研究和应用提供了极大的便利。

当我们从 HuggingFace 下载一个模型时，会发现其中包含多个文件。这些文件各司其职，确保模型能够正常运行。那么，这些文件具体都有什么作用呢？今天这篇文章就来一探究竟。

1. 模型权重与配置文件

model-xxxx-of-yyyy.safetensors：这是最核心的文件，存储了模型训练后的权重参数。大模型通常由多个这样的文件组成，它们的体积往往是最大的。
config.json：该文件定义了模型的结构信息，比如层数、隐藏层大小、激活函数等，是模型正确加载的关键。
model.safetensors.index.json：这个文件描述了模型各层与权重文件的对应关系，确保模型在加载时能正确找到需要的权重数据。

tokenizer.json：完整的 tokenizer 定义，包括每个 token 的编码规则。
tokenizer_config.json：用于存储 tokenizer 的附加配置信息，比如特殊 token（如 [CLS]、[SEP]）、聊天模板（chat template）、截断方式、填充规则等。
merges.txt（适用于 BPE 类 tokenizer）：定义了基于 BPE（Byte Pair Encoding）方法的 token 合并规则。
vocab.txt（适用于 BERT 类模型）：存储模型的词汇表，每个 token 都有对应的 ID。