huggingface模型下载

最后发布时间 : 2025-02-25 00:03:12 浏览量 :

AutoTokenizer 和 AutoModel 是 Hugging Face Transformers 库中的两个非常常用的类,用于加载预训练模型和其对应的 tokenizer(分词器)。这些类简化了加载和使用预训练模型的过程。以下是如何使用它们的一个简单例子。

https://blog.csdn.net/abc13526222160/article/details/134856943

# 安装依赖
pip install -U huggingface_hub

# 基本命令示例
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download --local-dir-use-symlinks False bigscience/bloom-560m --local-dir bloom-560m

# 下载需要登录的模型(Gated Model)
huggingface-cli download --token hf_*** --resume-download --local-dir-use-symlinks False meta-llama/Llama-2-7b-hf --local-dir Llama-2-7b-hf
HF_ENDPOINT=https://hf-mirror.com python your_script.py

huggingface-cli download --resume-download --local-dir-use-symlinks False Salesforce/blip-image-captioning-base  --local-dir blip-image-captioning-base

Where does hugging face's transformers save models?

!ls ~/.cache/huggingface/hub/