Hugging Face proxy: Tải model và dataset sau proxy
Hugging Face proxy là cách cấu hình để các công cụ tải model và dataset từ Hugging Face Hub đi qua máy chủ proxy, khi máy ở trong mạng công ty, phòng lab, máy chủ GPU không được ra Internet trực tiếp, hoặc khi kết nối tới Hub chậm và hay đứt. Thư viện huggingface_hub, transformers, datasets, công cụ dòng lệnh và Git LFS đều có thể đi qua proxy, nhưng mỗi công cụ đọc cấu hình theo cách riêng. Bài này ProxyVN hướng dẫn đặt biến HTTP_PROXY, HTTPS_PROXY cho Python, cấu hình git-lfs qua proxy, dùng HF_ENDPOINT trỏ tới mirror, xử lý lỗi SSL và hết thời gian chờ, quản lý bộ nhớ đệm HF_HOME để không phải tải lại model nhiều chục gigabyte. Xem thêm dịch vụ tại ProxyVN.
Tổng quan về tải dữ liệu từ Hugging Face Hub
Hugging Face Hub là kho chứa model, dataset, ứng dụng demo cho học máy. Tài liệu về Hub có trên trang tài liệu Hugging Face Hub.
Các cách tải
Những công cụ tải từ Hugging Face Hub
- Thư viện Python huggingface_hub: hàm hf_hub_download, snapshot_download, được transformers, datasets, diffusers, sentence-transformers gọi bên dưới.
- Công cụ dòng lệnh: lệnh tải của huggingface_hub, tải model, dataset về thư mục chỉ định.
- Git và Git LFS: clone kho model như một kho Git, tệp lớn tải qua LFS.
- Trình duyệt: tải từng tệp trên trang web.
Hướng dẫn tải chính thức có trong hướng dẫn download của huggingface_hub.
Vì sao cần proxy
- Máy chủ GPU trong trung tâm dữ liệu chỉ ra Internet qua proxy.
- Mạng công ty, trường học bắt buộc proxy cho mọi kết nối ra ngoài.
- Kết nối quốc tế chập chờn, tải tệp trọng số lớn hay đứt giữa chừng.
- Cần IP cố định được khai báo với tường lửa của tổ chức.
Proxy và tốc độ
Proxy không tự làm tải nhanh hơn. Nó giúp khi đường đi trực tiếp bị chặn hoặc kém, và đường qua proxy tốt hơn. Với tệp hàng chục gigabyte, chọn proxy băng thông lớn, không giới hạn dung lượng thấp.
Đặt biến môi trường proxy cho Python
Cách phổ biến và ổn định nhất: đặt biến môi trường trước khi chạy chương trình. Thư viện HTTP mà huggingface_hub dùng bên dưới đọc các biến này.
Khai báo biến môi trường proxy
Trên Linux, macOS
export HTTP_PROXY="http://user123:pass456@203.0.113.10:8080"
export HTTPS_PROXY="http://user123:pass456@203.0.113.10:8080"
export NO_PROXY="localhost,127.0.0.1,.noi-bo.local"
python train.pyTrên Windows PowerShell
$env:HTTP_PROXY = "http://user123:pass456@203.0.113.10:8080"
$env:HTTPS_PROXY = "http://user123:pass456@203.0.113.10:8080"
python train.pyĐặt trong mã Python
import os
os.environ["HTTPS_PROXY"] = "http://user123:pass456@203.0.113.10:8080"
from transformers import AutoModel
model = AutoModel.from_pretrained("bert-base-uncased")Đặt biến trước khi import thư viện để chắc rằng phiên kết nối được tạo với proxy. Cách viết NO_PROXY có trong bài no_proxy là gì.
Ký tự đặc biệt trong mật khẩu
Mật khẩu có @, :, #, / cần mã hoá phần trăm trong URL, ví dụ @ thành %40. Có thể dùng urllib.parse.quote để mã hoá trong mã. Proxy mua từ nhà cung cấp thường ở dạng ip:port:user:pass, cách chuyển đổi có trong bài định dạng proxy.
Tham số proxies trong bản cũ
Các bản cũ của huggingface_hub và transformers có tham số proxies truyền vào hàm tải, ví dụ from_pretrained(..., proxies={...}). Tham số này đã được đánh dấu lỗi thời ở các bản mới. Dùng biến môi trường để mã chạy được với mọi phiên bản.
Các biến môi trường của Hugging Face nên biết
Ngoài biến proxy, huggingface_hub có nhiều biến riêng ảnh hưởng tới việc tải. Danh sách đầy đủ có trong tài liệu biến môi trường của huggingface_hub.
Biến |
Tác dụng |
Khi nào dùng |
|---|---|---|
HF_HOME |
Thư mục gốc chứa cache, token |
Đổi ổ lưu model sang ổ lớn |
HF_HUB_CACHE |
Thư mục cache model, dataset |
Dùng chung cache cho nhiều người |
HF_ENDPOINT |
Địa chỉ Hub |
Trỏ tới mirror hoặc Hub nội bộ |
HF_TOKEN |
Token truy cập |
Model riêng tư, model cần đồng ý điều khoản |
HF_HUB_OFFLINE |
Chạy không mạng |
Máy không có Internet, dùng cache sẵn |
HF_HUB_DOWNLOAD_TIMEOUT |
Thời gian chờ tải |
Proxy chậm, tệp lớn |
HF_HUB_ETAG_TIMEOUT |
Thời gian chờ kiểm tra phiên bản |
Mạng chậm khi khởi động |
HF_ENDPOINT và mirror
HF_ENDPOINT đổi địa chỉ máy chủ mà thư viện gọi tới. Doanh nghiệp có thể dựng một Hub nội bộ hoặc proxy đệm tương thích API, trỏ HF_ENDPOINT về đó. Một số cộng đồng có mirror công khai. Cẩn thận với mirror không chính thức: tệp trọng số có thể chứa mã thực thi nếu dùng định dạng pickle, chỉ tải từ nguồn tin cậy và ưu tiên định dạng safetensors.
HF_HUB_OFFLINE
Khi model đã có trong cache, đặt HF_HUB_OFFLINE=1 để thư viện không gọi mạng, tránh lỗi khi máy chủ huấn luyện không có Internet. Kết hợp với việc tải sẵn model ở máy có mạng rồi chép cache sang.
Thời gian chờ
Mặc định thời gian chờ khá ngắn. Qua proxy chậm, tăng HF_HUB_DOWNLOAD_TIMEOUT và HF_HUB_ETAG_TIMEOUT lên vài chục giây để tránh lỗi hết thời gian chờ khi khởi động.
Công cụ dòng lệnh và tải hàng loạt
Tải bằng dòng lệnh
Công cụ dòng lệnh của huggingface_hub đọc cùng biến môi trường proxy. Ví dụ tải toàn bộ model về thư mục:
export HTTPS_PROXY="http://user123:pass456@203.0.113.10:8080"
huggingface-cli download meta-llama/Llama-3.1-8B --local-dir ./llamaCác bản mới có thể đổi tên lệnh, xem trợ giúp của bản đang cài.
Chỉ tải tệp cần thiết
Kho model thường có nhiều định dạng trọng số. Dùng tham số lọc tệp (include, exclude hoặc allow_patterns trong snapshot_download) để chỉ tải safetensors, bỏ qua bản pickle, bản cho framework khác. Ít dữ liệu hơn nghĩa là ít tốn băng thông proxy hơn.
from huggingface_hub import snapshot_download
snapshot_download("mistralai/Mistral-7B-v0.1",
allow_patterns=["*.safetensors", "*.json", "tokenizer*"])Tiếp tục khi bị đứt
Thư viện hỗ trợ tải tiếp từ chỗ bị đứt cho phần lớn tệp. Nếu tải qua proxy bị gián đoạn, chạy lại lệnh, các tệp đã xong được bỏ qua, tệp dở được tải tiếp.
Git và Git LFS qua proxy
Clone kho model bằng Git là cách quen thuộc nhưng tốn băng thông hơn, vì Git LFS tải mọi tệp lớn trong kho.
Cấu hình proxy cho Git
git config --global http.proxy http://user123:pass456@203.0.113.10:8080
git config --global https.proxy http://user123:pass456@203.0.113.10:8080Chỉ áp dụng cho huggingface.co:
git config --global http.https://huggingface.co.proxy http://203.0.113.10:8080Chi tiết có trong bài Git proxy.
Git LFS
Git LFS dùng cấu hình http.proxy của Git, và cũng đọc biến HTTPS_PROXY. Thông tin về Git LFS có trên trang Git LFS. Một mẹo tiết kiệm băng thông: clone không tải tệp lớn, sau đó chỉ kéo tệp cần:
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/bert-base-uncased
cd bert-base-uncased
git lfs pull --include="*.safetensors"Khi nào nên dùng thư viện thay Git
Với model lớn, thư viện huggingface_hub hiệu quả hơn Git: không giữ lịch sử, tải song song, lọc tệp dễ. Git hợp khi cần sửa và đẩy model lên.
pip và các gói Python sau proxy
Trước khi tải model, phải cài được thư viện. pip cần cấu hình proxy riêng nếu không đọc được biến môi trường trong ngữ cảnh đang chạy.
pip install transformers datasets --proxy http://user123:pass456@203.0.113.10:8080Cách đặt proxy cố định cho pip có trong bài pip proxy. Với conda, cấu hình proxy_servers trong tệp .condarc.
Lỗi SSL, timeout và các lỗi thường gặp
Lỗi SSL và timeout khi tải model
Lỗi chứng chỉ khi proxy công ty giải mã HTTPS
Thông báo kiểu SSLError, CERTIFICATE_VERIFY_FAILED khi tải model trong mạng công ty thường do proxy kiểm tra nội dung ký lại HTTPS. Python không tin chứng chỉ gốc của công ty. Chỉ cho Python dùng tệp chứng chỉ của công ty:
export REQUESTS_CA_BUNDLE=/etc/ssl/certs/cong-ty-bundle.pem
export SSL_CERT_FILE=/etc/ssl/certs/cong-ty-bundle.pemTệp bundle nên gồm cả chứng chỉ gốc công khai lẫn chứng chỉ của công ty. Không tắt kiểm tra SSL bằng các mẹo trên mạng, vì mở đường cho việc tải về trọng số bị sửa.
Bảng lỗi thường gặp
Hiện tượng |
Nguyên nhân hay gặp |
Cách xử lý |
|---|---|---|
ProxyError, Cannot connect to proxy |
Sai địa chỉ, cổng, proxy chết |
Kiểm tra proxy bằng curl |
407 Proxy Authentication Required |
Sai tài khoản, ký tự đặc biệt chưa mã hoá |
Mã hoá phần trăm mật khẩu |
SSLError, CERTIFICATE_VERIFY_FAILED |
Proxy công ty giải mã HTTPS |
REQUESTS_CA_BUNDLE, SSL_CERT_FILE |
ReadTimeout khi tải |
Proxy chậm, tệp lớn |
Tăng HF_HUB_DOWNLOAD_TIMEOUT |
401, 403 khi tải model |
Model riêng tư, chưa đồng ý điều khoản |
Đặt HF_TOKEN, đồng ý trên trang model |
429 Too Many Requests |
Gọi quá nhiều, nhiều máy chung IP |
Dùng token, giảm tần suất, cache dùng chung |
Tải lại model đã có |
Cache ở thư mục khác |
Kiểm tra HF_HOME, HF_HUB_CACHE |
git lfs pull lỗi |
Git chưa có proxy |
git config http.proxy |
Mã 407 có bài riêng: sửa lỗi 407 Proxy Authentication Required. Kiểm tra proxy độc lập bằng curl theo bài curl proxy là gì.
Mã 429 khi nhiều máy dùng chung IP
Cả phòng lab, cả cụm máy chủ đi ra qua một proxy, Hub thấy rất nhiều yêu cầu từ một IP và có thể giới hạn. Dùng token cho mỗi người, giảm số lần gọi kiểm tra phiên bản bằng cache dùng chung và chế độ offline khi đã có model.
Quản lý bộ nhớ đệm model
Bộ nhớ đệm model trên máy
Cache nằm ở đâu
Mặc định cache nằm trong ~/.cache/huggingface trên Linux, macOS, và thư mục tương ứng trong hồ sơ người dùng trên Windows. Model lớn nhanh chóng làm đầy ổ hệ thống.
Đổi vị trí cache
export HF_HOME=/data/huggingfaceĐặt trong tệp khởi động shell hoặc biến môi trường hệ thống để mọi chương trình dùng cùng một chỗ.
Dùng chung cache cho nhiều người
Trên máy chủ dùng chung, đặt HF_HUB_CACHE vào một thư mục chung có quyền đọc cho mọi người. Model tải một lần qua proxy, cả nhóm dùng. Tiết kiệm băng thông và thời gian đáng kể.
Chép cache sang máy không có mạng
Tải model ở máy có Internet, chép cả thư mục cache sang máy chủ huấn luyện không có Internet, đặt HF_HUB_OFFLINE=1. Cách này dùng nhiều trong môi trường bảo mật cao.
Dọn cache
Công cụ dòng lệnh của huggingface_hub có lệnh quét và xoá cache, hiển thị dung lượng từng model, cho chọn bản cần xoá.
Proxy cho dịch vụ suy luận và API
Gọi Inference API, Inference Endpoints
Khi gọi dịch vụ suy luận của Hugging Face từ máy sau proxy, thư viện huggingface_hub dùng cùng biến môi trường. Với các thư viện HTTP khác, cấu hình proxy theo thư viện đó.
Gọi API mô hình ngôn ngữ của nhà cung cấp khác
Nhiều dự án kết hợp model mở trên Hugging Face với API của nhà cung cấp khác. Cấu hình proxy cho các thư viện đó tương tự, giải thích trong bài proxy cho API OpenAI ChatGPT.
Thu thập dữ liệu huấn luyện
Proxy còn được dùng ở bước thu thập dữ liệu công khai để huấn luyện. Chủ đề này có bài proxy training AI, nói rõ các lưu ý về pháp lý và đạo đức.
Mô hình tải model cho phòng lab và doanh nghiệp
Khi chỉ một người dùng, đặt biến proxy là đủ. Khi cả nhóm, cả phòng lab cùng tải model, cách tổ chức quyết định tốn bao nhiêu băng thông và bao nhiêu thời gian chờ.
Mỗi người tự tải qua proxy
Đơn giản nhất, nhưng cùng một model có thể bị tải mười lần bởi mười người. Với model vài chục gigabyte, proxy và đường truyền bị chiếm dụng liên tục, người cần tải gấp phải xếp hàng.
Cache dùng chung trên máy chủ
Đặt HF_HUB_CACHE về một thư mục chung trên máy chủ hoặc ổ mạng. Người đầu tiên tải model qua proxy, những người sau dùng ngay. Cần phân quyền để mọi người đọc được, và thống nhất ai được xoá model cũ khi đầy ổ.
Kho artifact nội bộ
Một số hệ thống quản lý artifact dành cho doanh nghiệp hỗ trợ làm kho trung gian cho Hugging Face, tương tự cách chúng làm trung gian cho pip, npm. Máy trong mạng trỏ HF_ENDPOINT về kho nội bộ, kho nội bộ tải từ Hub qua proxy một lần và lưu lại. Doanh nghiệp còn kiểm soát được model nào được phép dùng.
Chọn cách theo quy mô
Quy mô |
Cách gợi ý |
Ghi chú |
|---|---|---|
Một vài người |
Biến proxy cá nhân |
Nhanh, không cần hạ tầng |
Phòng lab, nhóm nhỏ |
Cache dùng chung |
Tiết kiệm băng thông rõ rệt |
Doanh nghiệp |
Kho artifact nội bộ |
Kiểm soát model, có nhật ký |
Máy không có Internet |
Tải ngoài, chép cache vào |
Môi trường bảo mật cao |
Proxy trong Docker, Jupyter và môi trường huấn luyện
Container
Container không kế thừa biến môi trường của máy chủ. Truyền biến proxy khi chạy container bằng tham số -e, hoặc khai báo trong tệp compose. Khi xây ảnh có bước tải model, truyền proxy qua build-arg. Docker daemon kéo ảnh qua proxy cần cấu hình riêng, trình bày trong bài proxy Docker. Nên gắn thư mục cache từ máy chủ vào container, để model không bị tải lại mỗi lần tạo container mới.
Jupyter Notebook, JupyterLab
Kernel của Jupyter là tiến trình Python riêng, đọc biến môi trường lúc khởi động máy chủ Jupyter. Đặt biến proxy trước khi chạy jupyter, hoặc đặt trong ô đầu tiên của notebook bằng os.environ trước khi import thư viện. Đặt sau khi đã import và tạo phiên kết nối có thể không có tác dụng cho tới khi khởi động lại kernel.
Cụm huấn luyện
Trên cụm nhiều máy chạy trình lập lịch công việc, biến môi trường cần có ở mọi máy tính toán, không chỉ ở máy đăng nhập. Khai báo trong tệp cấu hình môi trường chung hoặc trong kịch bản gửi công việc. Cách tốt hơn là tải model sẵn vào bộ nhớ chung trước khi chạy, công việc huấn luyện chạy ở chế độ offline.
Dịch vụ notebook trên đám mây
Các dịch vụ notebook trên đám mây thường có Internet trực tiếp, không cần proxy để tải từ Hub. Chỉ dùng proxy khi có yêu cầu đặc biệt, ví dụ IP cố định để truy cập dịch vụ nội bộ của công ty.
Bảo mật khi tải model qua proxy
Ưu tiên safetensors
Định dạng pickle của PyTorch có thể chứa mã chạy khi nạp model. Định dạng safetensors chỉ chứa dữ liệu số. Khi có lựa chọn, tải và nạp safetensors. Điều này càng quan trọng khi tải qua mirror hoặc kho trung gian.
Cẩn thận với trust_remote_code
Một số model yêu cầu tham số trust_remote_code=True, nghĩa là chạy mã Python tải từ kho model. Chỉ bật với kho của tổ chức tin cậy, đọc mã trước khi chạy, ghim phiên bản (revision) để mã không đổi bất ngờ.
Bảo vệ token
Token Hugging Face cho phép tải model riêng tư, đẩy model lên. Không ghi token vào mã, notebook chia sẻ hay ảnh container. Dùng token chỉ đọc cho máy chủ huấn luyện. Proxy HTTP không đọc được token khi kết nối là HTTPS, nhưng proxy giải mã HTTPS của công ty thì có thể thấy.
Ghim phiên bản model
Truyền revision là mã commit cụ thể khi tải model dùng trong sản phẩm. Dù tải qua đâu, nội dung nhận được luôn khớp phiên bản đã kiểm thử.
Quy trình xử lý khi không tải được model
Khi lệnh tải báo lỗi, làm theo thứ tự để tìm nguyên nhân nhanh.
Bước 1: thử mạng không qua Python
Dùng curl gọi trang chủ Hub qua proxy. curl lỗi thì vấn đề ở proxy hoặc mạng, chưa cần sửa gì trong Python. Lỗi từ chối kết nối và cách đọc có trong bài máy chủ proxy từ chối kết nối.
Bước 2: kiểm tra biến môi trường thực tế
In os.environ trong chính chương trình đang lỗi, xem biến proxy có mặt không. Nhiều trường hợp biến được đặt ở terminal này nhưng chương trình chạy ở terminal khác, hoặc chạy qua dịch vụ hệ thống không có biến.
Bước 3: đọc kỹ thông báo lỗi
Phân biệt lỗi kết nối proxy, lỗi xác thực, lỗi chứng chỉ, lỗi quyền truy cập model. Mỗi loại có cách xử lý khác nhau như bảng ở trên. Lỗi 401, 403 không liên quan tới proxy.
Bước 4: thử một tệp nhỏ
Tải một tệp cấu hình nhỏ của model bằng hf_hub_download. Tệp nhỏ tải được mà tệp trọng số lỗi, vấn đề thường là thời gian chờ, giới hạn dung lượng của proxy, hoặc tường lửa cắt kết nối dài.
Ước tính dung lượng và thời gian tải qua proxy
Trước khi tải, nên ước tính để chọn proxy và lên lịch hợp lý, nhất là khi proxy giới hạn dung lượng.
Dung lượng model theo số tham số
Model lưu ở độ chính xác 16 bit chiếm khoảng 2 byte cho mỗi tham số. Model 1 tỷ tham số khoảng 2 gigabyte, 7 tỷ khoảng 14 gigabyte, 13 tỷ khoảng 26 gigabyte, 70 tỷ khoảng 140 gigabyte. Bản lượng tử hoá 4 bit nhỏ hơn khoảng bốn lần. Một kho model có thể chứa cả bản cho nhiều framework, nên kiểm tra danh sách tệp trước khi tải toàn bộ.
Thời gian tải
Với đường truyền qua proxy 100 megabit mỗi giây, mỗi gigabyte mất khoảng một phút rưỡi. Model 14 gigabyte mất khoảng hai mươi phút nếu tốc độ ổn định. Nếu proxy chỉ đạt 20 megabit mỗi giây, cùng model mất hơn một tiếng rưỡi. Đo tốc độ proxy bằng một tệp vài trăm megabyte trước khi tải model lớn.
Lên lịch tải
Tải model lớn vào giờ thấp điểm của mạng công ty để không ảnh hưởng đồng nghiệp. Chạy lệnh tải trong phiên terminal không bị đóng khi ngắt kết nối, ví dụ trong tmux hoặc screen trên máy chủ, để tải xong dù người dùng đã tắt máy.
Dung lượng ổ đĩa
Thư viện tải vào thư mục tạm rồi chuyển vào cache, cần dư chỗ trống ít nhất bằng kích thước tệp lớn nhất. Kiểm tra ổ chứa HF_HOME còn đủ chỗ trước khi bắt đầu.
Chọn proxy để tải model
Băng thông và dung lượng
Một model 7 tỷ tham số định dạng safetensors nặng khoảng 14 đến 15 gigabyte. Model 70 tỷ tham số hơn 100 gigabyte. Proxy tính tiền theo dung lượng sẽ tốn kém, nên chọn proxy không giới hạn dung lượng hoặc giới hạn cao, băng thông lớn.
Proxy datacenter cho tốc độ
Proxy datacenter có băng thông lớn, ổn định, hợp với tải tệp lớn hơn proxy dân cư. Proxy đặt gần máy chủ Hub về mặt mạng cho tốc độ tốt hơn. Anh em cần proxy datacenter Việt Nam hoặc Mỹ băng thông cao để tải model có thể mua proxy tại ProxyVN.
HTTP hay SOCKS5
Thư viện Python làm việc tốt nhất với proxy HTTP. SOCKS5 cần cài thêm gói hỗ trợ (ví dụ requests[socks] hoặc httpx[socks] tuỳ thư viện bên dưới). Nếu nhà cung cấp có cả hai, dùng HTTP cho đơn giản.
Câu hỏi thường gặp về Hugging Face proxy
transformers có dùng proxy của hệ thống không
transformers gọi huggingface_hub để tải, và thư viện HTTP bên dưới đọc biến môi trường HTTP_PROXY, HTTPS_PROXY. Proxy đặt trong cài đặt Windows có thể không được đọc, nên đặt biến môi trường cho chắc.
Có cần proxy để dùng model đã tải không
Không. Model đã ở trong cache thì chạy không cần mạng. Đặt HF_HUB_OFFLINE=1 để thư viện không cố gọi mạng.
Vì sao tải qua proxy chậm hơn tải thẳng
Proxy thêm một chặng và có băng thông giới hạn. Nếu không bắt buộc, tải thẳng thường nhanh hơn. Chỉ dùng proxy khi bị chặn hoặc đường thẳng kém.
datasets có đọc biến proxy không
Có. Thư viện datasets tải qua huggingface_hub và các thư viện HTTP đọc biến môi trường. Dataset lưu ngoài Hub, ví dụ trên máy chủ khác, cũng đi qua proxy nếu thư viện tải dùng biến môi trường.
Dùng proxy miễn phí để tải model được không
Không nên. Proxy miễn phí chậm, giới hạn dung lượng, có thể sửa nội dung tải về. Với tệp trọng số có thể chứa mã thực thi, rủi ro càng cao.
Có thể dùng nhiều proxy để tải song song nhanh hơn không
Thư viện tải nhiều tệp song song qua cùng một cấu hình proxy, không tự chia qua nhiều proxy. Có thể chia thủ công: mỗi tiến trình tải một nhóm tệp với biến proxy khác nhau, cùng ghi vào một thư mục đích. Cách này chỉ đáng làm khi từng proxy bị giới hạn băng thông thấp, còn với proxy băng thông lớn, một proxy đã đủ.
Hugging Face có chặn IP của proxy không
Hub không cấm dùng proxy. Tuy vậy, IP bị nhiều người dùng chung, gửi quá nhiều yêu cầu không có token có thể bị giới hạn tốc độ. Dùng proxy riêng, đăng nhập bằng token và dùng cache để giảm số yêu cầu.
Proxy có ảnh hưởng tới việc đẩy model lên Hub không
Đẩy model lên Hub cũng đi qua proxy nếu đã cấu hình biến môi trường hoặc Git. Tải lên tệp lớn qua proxy cần proxy cho phép kết nối dài và không giới hạn kích thước yêu cầu. Nếu bị cắt giữa chừng, thử lại với từng tệp, thư viện sẽ bỏ qua tệp đã có trên Hub.
Tổng kết
Hugging Face proxy cấu hình chủ yếu bằng biến môi trường HTTP_PROXY, HTTPS_PROXY, NO_PROXY, đặt trước khi chạy hoặc trước khi import thư viện. Git và Git LFS cần http.proxy riêng, pip cần cấu hình riêng. Dùng HF_ENDPOINT cho mirror tin cậy, tăng thời gian chờ khi proxy chậm, thêm chứng chỉ công ty qua REQUESTS_CA_BUNDLE khi gặp lỗi SSL. Quản lý cache bằng HF_HOME, dùng chung cache và chế độ offline để không tải lại model hàng chục gigabyte. Cần proxy băng thông cao để tải model, anh em liên hệ Proxy.vn - Nhà cung cấp dịch vụ proxy chất lượng hàng đầu Việt Nam để được tư vấn.
