Ngiêm cấm sử đụng PROXY và VPS vào mục đích trái pháp luật bạn sẽ phải chịu toàn bộ trách nhiệm trước pháp luật khi sử dụng dịch vụ của chúng tôi tks!
Ollama proxy: Tải model và gọi API qua proxy

Ollama proxy: Tải model và gọi API qua proxy

Chuyên viên Kỹ thuật ProxyVN 09-23-2026 Đang tính... phút đọc

Ollama proxy là chủ đề có hai chiều mà anh em hay nhầm lẫn. Chiều đi ra là cho Ollama tải model qua proxy khi máy nằm trong mạng công ty hoặc mạng bị giới hạn. Chiều đi vào là đặt reverse proxy trước API của Ollama để chia sẻ cho nhiều người dùng một cách an toàn. Bài này ProxyVN hướng dẫn cả hai chiều trên Linux, Windows, macOS và Docker, kèm cấu hình Nginx, Caddy có xác thực và cách sửa lỗi thường gặp. Tham khảo dịch vụ tại ProxyVN.

Tổng quan về Ollama proxy

Ollama là công cụ mã nguồn mở giúp chạy mô hình ngôn ngữ lớn ngay trên máy của mình. Theo trang chủ Ollama, anh em có thể chạy các model mở như Llama, Gemma, Qwen, DeepSeek bằng một lệnh duy nhất.

Kiến trúc của Ollama

Ollama gồm hai phần. Phần máy chủ chạy nền, lắng nghe API HTTP ở cổng 11434, quản lý model và xử lý suy luận. Phần dòng lệnh `ollama` thực chất là client gọi vào API đó. Khi anh em gõ `ollama pull` hay `ollama run`, lệnh gửi yêu cầu tới máy chủ cục bộ, máy chủ mới là thành phần thực sự tải model từ Internet.

Hiểu điều này rất quan trọng. Đặt proxy cho cửa sổ dòng lệnh không có tác dụng, phải đặt cho dịch vụ máy chủ Ollama. Đây là lỗi phổ biến nhất khi cấu hình chiều đi ra.

Hai chiều cần proxy

Bảng dưới phân biệt hai nhu cầu:

Bảng: Hai chiều cần proxy

Chiều

Mục đích

Cấu hình chính

Ai cần

Đi ra

Tải model từ kho của Ollama

Biến HTTPS_PROXY cho dịch vụ

Máy trong mạng công ty, mạng hạn chế

Đi vào

Cho người khác gọi API

Reverse proxy, OLLAMA_HOST

Nhóm dùng chung một máy GPU

Hai chiều độc lập với nhau, một máy có thể cần cả hai. Ví dụ máy chủ GPU của công ty vừa phải qua proxy công ty để tải model, vừa phải chia sẻ API cho cả phòng phát triển.

Khi nào không cần cấu hình gì

Nếu anh em chạy Ollama trên máy cá nhân ở nhà, mạng ra Internet bình thường và chỉ mình anh em dùng, thì không cần cấu hình proxy nào cả. Ollama tự tải model và chỉ nghe trên localhost, vừa đủ dùng vừa an toàn. Đọc tiếp các phần dưới chỉ khi máy nằm trong mạng bị giới hạn, hoặc khi muốn chia sẻ cho người khác.

Một trường hợp nữa là dùng VPN toàn máy. VPN đã định tuyến mọi kết nối của hệ điều hành, kể cả của dịch vụ Ollama, nên cũng không cần đặt biến proxy. Biến proxy chỉ cần khi mạng bắt buộc đi qua một máy chủ proxy cụ thể, hoặc khi anh em chỉ muốn riêng Ollama đi qua proxy mà các ứng dụng khác vẫn đi thẳng.

Mã nguồn và tài liệu

Ollama phát triển công khai trên kho mã Ollama trên GitHub, viết bằng Go. Phần câu hỏi thường gặp trong tài liệu chính thức có hướng dẫn riêng cho proxy, ProxyVN dựa vào đó để viết các phần dưới đây.

Cấu hình Ollama proxy chiều đi ra để tải model

Hai chiều cần proxy

Hai chiều cần proxy

Khi máy không ra Internet trực tiếp, lệnh `ollama pull` sẽ treo hoặc báo lỗi kết nối. Giải pháp là cho dịch vụ máy chủ biết địa chỉ proxy.

Chỉ đặt HTTPS_PROXY

Theo phần câu hỏi thường gặp của Ollama, anh em dùng biến `HTTPS_PROXY` để chuyển các yêu cầu đi ra qua proxy. Tài liệu lưu ý tránh đặt `HTTP_PROXY`, vì Ollama không dùng HTTP để tải model, chỉ dùng HTTPS. Đặt `HTTP_PROXY` có thể làm gián đoạn kết nối từ client tới máy chủ cục bộ.

Lý do nằm ở chỗ client `ollama` gọi máy chủ qua `http://127.0.0.1:11434`. Nếu có `HTTP_PROXY`, client có thể đẩy cả lời gọi nội bộ này ra proxy bên ngoài và thất bại. Chỉ đặt HTTPS_PROXY, và thêm NO_PROXY cho localhost nếu môi trường có sẵn HTTP_PROXY.

Trên Linux với systemd

Bộ cài Linux tạo dịch vụ systemd tên `ollama`. Anh em thêm biến môi trường qua tệp override:

sudo systemctl edit ollama.service
[Service]
Environment="HTTPS_PROXY=http://user:pass@proxy.congty.vn:8080"
Environment="NO_PROXY=localhost,127.0.0.1"
sudo systemctl daemon-reload
sudo systemctl restart ollama
ollama pull llama3.2

Lệnh `systemctl edit` mở trình soạn thảo, anh em dán phần `[Service]` vào giữa hai dòng chú thích rồi lưu. Biến đặt trong `.bashrc` hay `/etc/environment` không áp dụng cho dịch vụ systemd, nên phải làm đúng cách này.

Trên Windows

Ollama trên Windows chạy dưới dạng ứng dụng khay hệ thống. Tài liệu hướng dẫn đặt biến môi trường cho tài khoản người dùng:

  • Thoát Ollama bằng cách nhấp chuột phải vào biểu tượng ở khay hệ thống, chọn Quit.
  • Mở Settings, tìm "environment variables", chọn Edit environment variables for your account.
  • Bấm New, đặt tên `HTTPS_PROXY`, giá trị `http://user:pass@proxy.congty.vn:8080`.
  • Bấm OK để lưu.
  • Mở lại Ollama từ menu Start.

Ứng dụng phải được khởi động lại sau khi đặt biến, vì nó chỉ đọc biến môi trường lúc khởi động. Cách đặt nhanh bằng PowerShell là `[Environment]::SetEnvironmentVariable("HTTPS_PROXY","http://proxy.congty.vn:8080","User")`.

Trên macOS

Ollama trên Mac chạy dạng ứng dụng, đọc biến qua `launchctl`. Anh em chạy lệnh rồi khởi động lại ứng dụng Ollama:

launchctl setenv HTTPS_PROXY "http://proxy.congty.vn:8080"

Biến đặt bằng `launchctl setenv` mất khi khởi động lại máy. Muốn giữ lâu dài, anh em tạo một tệp LaunchAgent chạy lệnh này lúc đăng nhập, hoặc chạy lại lệnh mỗi khi cần.

Ollama proxy trong Docker

Tải model qua proxy công ty

Tải model qua proxy công ty

Chạy Ollama trong Docker rất phổ biến trên máy chủ có GPU. Cấu hình proxy trong container có vài điểm riêng cần lưu ý.

Truyền biến khi chạy container

Theo tài liệu, anh em truyền `-e HTTPS_PROXY` khi khởi động container. Ví dụ với GPU Nvidia:

docker run -d --gpus=all \
  -e HTTPS_PROXY=http://user:pass@proxy.congty.vn:8080 \
  -v ollama:/root/.ollama \
  -p 127.0.0.1:11434:11434 \
  --name ollama ollama/ollama

Lưu ý `-p 127.0.0.1:11434:11434` chỉ mở cổng cho chính máy chủ, không lộ API ra mạng. Phần sau sẽ đặt reverse proxy có xác thực phía trước để chia sẻ an toàn.

Proxy cho Docker daemon

Biến `-e` chỉ áp dụng cho tiến trình bên trong container. Bước kéo image `ollama/ollama` từ Docker Hub lại do Docker daemon thực hiện, cần cấu hình proxy riêng cho daemon. Theo tài liệu proxy của Docker CLI, còn có thể khai báo proxy trong `~/.docker/config.json` để Docker tự truyền biến vào mọi container và lệnh build.

Hai lớp này hay bị nhầm, bài proxy Docker giải thích kỹ từng lớp. Thiếu proxy cho daemon thì không kéo được image, thiếu proxy cho container thì kéo được image nhưng không tải được model.

Chứng chỉ của proxy công ty

Nhiều proxy doanh nghiệp giải mã HTTPS bằng chứng chỉ riêng. Tài liệu Ollama yêu cầu chứng chỉ này phải được cài làm chứng chỉ hệ thống. Với Docker, anh em dựng image riêng chép chứng chỉ vào kho tin cậy:

FROM ollama/ollama
COPY ca-congty.crt /usr/local/share/ca-certificates/ca-congty.crt
RUN update-ca-certificates

Không làm bước này, lệnh pull sẽ báo lỗi chứng chỉ không xác minh được dù proxy đã đúng.

Cấu hình Ollama proxy chiều đi vào để chia sẻ API

Chạy Ollama trong container

Chạy Ollama trong container

Chiều thứ hai là cho người khác gọi vào Ollama. Đây là nhu cầu phổ biến khi cả nhóm dùng chung một máy có GPU mạnh, hoặc khi kết nối Ollama với công cụ như Open WebUI, n8n, trình soạn mã.

Mở Ollama cho mạng nội bộ bằng OLLAMA_HOST

Mặc định Ollama chỉ lắng nghe trên `127.0.0.1:11434`, máy khác không gọi được. Biến `OLLAMA_HOST` đổi địa chỉ lắng nghe. Đặt `0.0.0.0:11434` để nghe trên mọi giao diện mạng:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

API của Ollama không có xác thực. Ai gọi được cổng 11434 là dùng được model, kéo model mới, xoá model. Chỉ mở theo cách này trong mạng nội bộ tin cậy, có tường lửa giới hạn IP nguồn. Không bao giờ chuyển cổng 11434 ra Internet.

OLLAMA_ORIGINS cho ứng dụng trên trình duyệt

Khi gọi Ollama từ trang web hay tiện ích trình duyệt, trình duyệt kiểm tra nguồn gốc theo chính sách CORS. Mặc định Ollama chỉ cho phép nguồn từ `127.0.0.1` và `0.0.0.0`. Tiện ích trình duyệt cần thêm mẫu như `chrome-extension://*` vào biến `OLLAMA_ORIGINS`. Chỉ thêm đúng nguồn cần thiết, không đặt `*` cho mọi nguồn.

Đặt Nginx phía trước có xác thực

Cách an toàn để chia sẻ là giữ Ollama nghe trên localhost, đặt Nginx phía trước lo xác thực và HTTPS. Tài liệu Ollama gợi ý cấu hình chuyển tiếp với header Host là `localhost:11434`. Dưới đây là ví dụ đầy đủ có thêm mật khẩu và tắt bộ đệm để trả kết quả từng chữ:

server {
    listen 443 ssl;
    server_name ai.congty.vn;
 
    ssl_certificate     /etc/letsencrypt/live/ai.congty.vn/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/ai.congty.vn/privkey.pem;
 
    location / {
        auth_basic           "Ollama noi bo";
        auth_basic_user_file /etc/nginx/.htpasswd;
 
        proxy_pass         http://127.0.0.1:11434;
        proxy_set_header   Host localhost:11434;
        proxy_buffering    off;
        proxy_read_timeout 600s;
    }
}

Dòng `proxy_buffering off` giúp câu trả lời hiện ra từng chữ thay vì chờ xong cả đoạn. Thời gian chờ 600 giây cần thiết cho các model lớn sinh câu trả lời dài. Hướng dẫn chung về Nginx làm reverse proxy có trong bài cấu hình Nginx làm reverse proxy.

Phương án Caddy gọn hơn

Với Caddy, cấu hình tương đương ngắn hơn nhiều và tự xin chứng chỉ HTTPS. Mật khẩu được lưu dạng băm, tạo bằng lệnh `caddy hash-password`:

ai.congty.vn {
    basic_auth {
        nhanvien $2a$14$chuoi-bam-tao-boi-caddy-hash-password
    }
    reverse_proxy 127.0.0.1:11434 {
        header_up Host localhost:11434
        flush_interval -1
    }
}

Các bản Caddy cũ dùng tên chỉ thị `basicauth` không có gạch dưới. Dòng `flush_interval -1` có tác dụng giống `proxy_buffering off` của Nginx.

Đường hầm khi không có IP công khai

Tài liệu Ollama còn gợi ý dùng ngrok hoặc Cloudflare Tunnel, kèm tham số giữ header Host là `localhost:11434`. Cách này hợp khi máy GPU ở nhà không có IP công khai. Dù vậy, vẫn cần bật lớp xác thực của dịch vụ đường hầm, vì đường hầm mở ra là ai có địa chỉ cũng gọi được.

Gọi API qua Ollama proxy từ ứng dụng

Khoá cửa API trước khi chia sẻ

Khoá cửa API trước khi chia sẻ

Sau khi có reverse proxy có xác thực, các ứng dụng phía client cần gửi kèm thông tin đăng nhập. Phần này đưa ví dụ cho các trường hợp hay gặp.

Gọi bằng curl và Python

Với xác thực cơ bản, curl gửi tên và mật khẩu bằng tham số `-u`:

curl -u nhanvien:matkhau https://ai.congty.vn/api/generate \
  -d '{"model": "llama3.2", "prompt": "Proxy là gì?", "stream": false}'

Thư viện `ollama` cho Python nhận địa chỉ máy chủ và header tuỳ chỉnh:

import base64
from ollama import Client
 
token = base64.b64encode(b"nhanvien:matkhau").decode()
client = Client(host="https://ai.congty.vn",
                headers={"Authorization": f"Basic {token}"})
 
resp = client.chat(model="llama3.2",
                   messages=[{"role": "user", "content": "Giải thích reverse proxy"}])
print(resp["message"]["content"])

API tương thích OpenAI

Ollama cung cấp đường dẫn tương thích OpenAI tại `/v1/chat/completions`. Nhiều công cụ viết cho OpenAI có thể trỏ sang Ollama bằng cách đổi base URL. Khi đặt sau reverse proxy dùng xác thực Bearer thay vì Basic, khoá API trong công cụ sẽ trở thành token xác thực với proxy.

Với Nginx, anh em có thể kiểm tra header `Authorization: Bearer` bằng khối `map` so với danh sách khoá cho phép. Cách này giúp mỗi người dùng một khoá riêng, thu hồi khi cần mà không ảnh hưởng người khác.

So với gọi API đám mây

Ollama chạy model trên máy của mình, dữ liệu không rời khỏi hạ tầng công ty. Với các tác vụ cần model lớn của nhà cung cấp đám mây, anh em lại gọi ra ngoài và có thể gặp giới hạn theo vùng. Bài proxy cho API OpenAI bàn về chiều gọi ra ngoài đó. Khi tải model từ Hugging Face thay vì kho của Ollama, cấu hình proxy có khác đôi chút, xem bài Hugging Face proxy.

Tải model khi Ollama proxy chậm hoặc mạng bị cách ly

Model ngôn ngữ nặng từ vài GB tới vài chục GB. Đi qua proxy công ty có giới hạn băng thông, một lần tải có thể mất hàng giờ và đứt giữa chừng. Phần này gom các cách xử lý cho tình huống đó.

Tải tiếp khi bị ngắt

Lệnh `ollama pull` tải model theo từng lớp và giữ lại phần đã tải. Khi bị ngắt, chạy lại đúng lệnh đó, Ollama sẽ tiếp tục từ chỗ dừng thay vì tải lại từ đầu. Với proxy hay rớt kết nối, anh em có thể viết vòng lặp chạy lại lệnh pull cho tới khi thành công.

until ollama pull qwen2.5:14b; do
  echo "Tai bi ngat, thu lai sau 30 giay"
  sleep 30
done

Đổi thư mục lưu model

Mặc định model nằm trong thư mục người dùng hoặc `/usr/share/ollama/.ollama/models` với bản cài Linux. Ổ hệ thống thường nhỏ, tải vài model là đầy. Biến `OLLAMA_MODELS` đổi thư mục lưu sang ổ khác, đặt cùng chỗ với biến proxy trong tệp override của systemd hoặc biến môi trường trên Windows.

Lưu ý người dùng chạy dịch vụ `ollama` phải có quyền ghi vào thư mục mới. Thiếu quyền, dịch vụ không khởi động được và nhật ký báo lỗi permission denied.

Chép model sang máy không có Internet

Với máy chủ trong mạng cách ly, không có proxy nào ra ngoài, anh em tải model trên một máy có Internet rồi chép thư mục models sang. Thư mục gồm hai phần: `manifests` chứa thông tin model và `blobs` chứa dữ liệu. Chép cả hai, giữ nguyên cấu trúc, rồi khởi động lại dịch vụ. Lệnh `ollama list` trên máy đích sẽ hiện model như được tải trực tiếp.

Cách này cũng hữu ích khi nhiều máy trong công ty cần cùng một model. Tải một lần qua proxy, chép nội bộ cho các máy còn lại, đỡ tốn băng thông Internet của cả công ty.

Tối ưu máy chủ khi dùng chung qua Ollama proxy

Khi nhiều người cùng gọi một máy chủ, cấu hình mặc định của Ollama có thể không còn phù hợp. Vài biến môi trường giúp điều chỉnh cách máy chủ phục vụ nhiều yêu cầu.

Xử lý nhiều yêu cầu song song

Biến `OLLAMA_NUM_PARALLEL` quy định số yêu cầu một model xử lý cùng lúc. Tăng giá trị giúp nhiều người dùng không phải chờ nhau, nhưng tốn thêm bộ nhớ GPU cho mỗi luồng. Biến `OLLAMA_MAX_LOADED_MODELS` giới hạn số model nạp vào bộ nhớ cùng lúc, tránh tràn VRAM khi mỗi người gọi một model khác nhau.

Không có con số chung cho mọi máy. Anh em bắt đầu với giá trị nhỏ, theo dõi bộ nhớ GPU bằng `nvidia-smi` khi nhiều người dùng, rồi tăng dần cho tới khi gần chạm giới hạn.

Giữ model trong bộ nhớ

Mặc định Ollama gỡ model khỏi bộ nhớ sau vài phút không dùng. Lần gọi tiếp theo phải nạp lại, mất từ vài giây tới cả phút với model lớn. Biến `OLLAMA_KEEP_ALIVE` kéo dài thời gian giữ model, ví dụ đặt `1h` cho model dùng thường xuyên trong giờ làm việc. Đổi lại, bộ nhớ GPU bị chiếm lâu hơn.

Thời gian chờ phải khớp nhau

Khi tăng số yêu cầu song song, mỗi yêu cầu có thể chậm hơn. Thời gian chờ của reverse proxy, của client và của công cụ gọi API phải đủ dài. Một trong ba lớp có thời gian chờ ngắn là người dùng thấy lỗi dù máy chủ vẫn đang xử lý. Ghi lại các giá trị này một chỗ để dễ điều chỉnh đồng bộ.

Kết nối công cụ khác qua Ollama proxy

Phần lớn anh em không gọi API Ollama bằng tay mà qua giao diện chat, công cụ tự động hoá hay tiện ích lập trình. Mỗi công cụ có ô cấu hình địa chỉ máy chủ riêng.

Open WebUI

Open WebUI là giao diện chat phổ biến nhất cho Ollama, chạy bằng Docker. Anh em đặt biến `OLLAMA_BASE_URL` trỏ tới địa chỉ Ollama. Nếu Open WebUI chạy cùng máy, trỏ thẳng tới `http://host.docker.internal:11434` hoặc tên container trong cùng mạng Docker, không cần đi vòng qua reverse proxy công khai.

Open WebUI có hệ thống tài khoản riêng, nên nhiều đội dùng nó làm lớp xác thực thay cho reverse proxy. Người dùng đăng nhập Open WebUI, còn Ollama chỉ nhận kết nối từ container Open WebUI.

n8n và công cụ tự động hoá

Trong n8n, nút Ollama yêu cầu tạo thông tin kết nối với Base URL. Khi Ollama nằm sau reverse proxy có xác thực Basic, anh em dùng nút HTTP Request với xác thực Basic thay cho nút Ollama có sẵn, hoặc dùng đường dẫn tương thích OpenAI với nút OpenAI và khoá API là token của proxy.

Tiện ích lập trình trong trình soạn mã

Các tiện ích hỗ trợ viết mã dùng model cục bộ thường có ô nhập địa chỉ API. Trỏ ô này tới địa chỉ reverse proxy của công ty và nhập thông tin xác thực, cả đội dùng chung một máy GPU mà mã nguồn không rời khỏi mạng nội bộ. Đây là lý do nhiều công ty phần mềm chọn Ollama thay cho dịch vụ đám mây.

Kiểm tra cấu hình Ollama proxy từng bước

Sau khi cấu hình, anh em nên kiểm tra theo một trình tự cố định thay vì thử ngẫu nhiên. Trình tự dưới đây đi từ trong ra ngoài, mỗi bước xác nhận một lớp.

Bước 1: Máy chủ cục bộ còn sống

Trên chính máy chạy Ollama, gọi API phiên bản. Lệnh trả về số phiên bản nghĩa là dịch vụ đang chạy và client gọi được máy chủ mà không bị proxy chen vào:

curl http://127.0.0.1:11434/api/version
ollama list

Nếu lệnh curl chạy mà `ollama list` lỗi, vấn đề nằm ở biến `HTTP_PROXY` trong cửa sổ dòng lệnh, không phải ở dịch vụ.

Bước 2: Chiều đi ra qua proxy

Chạy thử một lệnh pull với model nhỏ để kiểm tra nhanh, ví dụ model vài trăm MB. Đồng thời theo dõi nhật ký dịch vụ ở cửa sổ khác. Nếu thanh tiến trình chạy là chiều đi ra đã thông. Nếu treo ở bước lấy manifest, xem lại biến proxy của dịch vụ và chứng chỉ.

Bước 3: Chiều đi vào qua reverse proxy

Từ một máy khác, gọi địa chỉ reverse proxy không kèm mật khẩu. Kết quả phải là mã 401, chứng tỏ lớp xác thực đang hoạt động. Sau đó gọi lại kèm mật khẩu, kết quả phải là danh sách model. Cuối cùng thử gọi thẳng cổng 11434 của máy chủ từ máy khác, kết quả phải là lỗi kết nối. Nếu gọi thẳng được cổng 11434 từ máy khác, API đang bị lộ và cần chặn ngay.

Bước 4: Phản hồi dạng luồng

Gửi một yêu cầu có `"stream": true` qua reverse proxy và quan sát. Chữ phải hiện ra dần dần. Nếu cả câu trả lời hiện cùng lúc, bộ đệm của reverse proxy chưa được tắt. Bước này hay bị bỏ qua vì yêu cầu vẫn thành công, chỉ có trải nghiệm người dùng kém đi.

Sửa lỗi thường gặp với Ollama proxy

Phần lớn lỗi rơi vào ba nhóm: pull không chạy, client không gọi được máy chủ, và trả kết quả chậm hoặc bị cắt ngang khi qua reverse proxy.

Pull treo hoặc báo lỗi kết nối

Kiểm tra theo thứ tự. Biến đã đặt cho dịch vụ chưa, chạy `systemctl show ollama | grep Environment` để xem. Proxy có hoạt động không, thử `curl -x http://proxy:port https://ollama.com`. Chứng chỉ của proxy có được tin tưởng không, nếu nhật ký báo lỗi x509 thì cần cài chứng chỉ công ty.

Nhật ký máy chủ trên Linux xem bằng `journalctl -u ollama -f`. Trên Windows, nhật ký nằm trong thư mục `%LOCALAPPDATA%\Ollama`. Nhật ký thường ghi rõ lỗi ở bước nào: phân giải tên miền, kết nối proxy hay xác minh chứng chỉ.

Client báo không kết nối được máy chủ

Nếu sau khi đặt proxy, lệnh `ollama list` báo lỗi kết nối, gần như luôn do `HTTP_PROXY` đang đẩy cả lời gọi localhost ra ngoài. Xoá `HTTP_PROXY` hoặc thêm `localhost,127.0.0.1` vào `NO_PROXY`. Cú pháp chi tiết có trong bài no_proxy là gì.

Kết quả bị dồn cục hoặc bị cắt

Khi gọi qua reverse proxy mà câu trả lời hiện ra một lần sau vài chục giây thay vì từng chữ, reverse proxy đang lưu đệm phản hồi. Tắt bộ đệm như đã hướng dẫn. Nếu câu trả lời bị cắt ngang với lỗi 504, tăng thời gian chờ đọc của reverse proxy, model lớn trên GPU yếu có thể cần vài phút cho một câu trả lời dài.

Bảo mật khi vận hành Ollama proxy

Một máy chủ AI chia sẻ cho nhiều người là tài nguyên đắt tiền, và là mục tiêu hấp dẫn cho người muốn dùng chùa GPU. Vài nguyên tắc giúp hệ thống an toàn.

Không lộ cổng 11434

Đã có nhiều báo cáo về hàng nghìn máy chủ Ollama bị lộ ra Internet không xác thực, bị người lạ dùng để chạy model hoặc xoá dữ liệu. Ollama phải luôn nghe trên localhost hoặc mạng nội bộ có tường lửa. Mọi truy cập từ ngoài phải đi qua reverse proxy có xác thực và HTTPS.

Giới hạn tần suất và ghi nhật ký

Reverse proxy là nơi tốt nhất để giới hạn số yêu cầu mỗi phút cho từng người dùng, tránh một người chiếm hết GPU. Nginx có `limit_req`, Caddy có module giới hạn tần suất. Nhật ký truy cập giúp biết ai dùng bao nhiêu, phục vụ việc phân bổ tài nguyên công bằng.

Ollama sinh ra để chạy cục bộ. Muốn chia sẻ, hãy coi API của nó như cơ sở dữ liệu: không bao giờ để lộ trực tiếp, luôn có lớp kiểm soát phía trước.

Tách proxy đi ra cho tác vụ thu thập dữ liệu

Nhiều hệ thống dùng Ollama cùng công cụ thu thập dữ liệu để tóm tắt hay phân loại nội dung web. Phần thu thập cần IP để đi ra, còn Ollama chạy cục bộ không cần. Khi cần IP Việt Nam ổn định cho phần thu thập, anh em có thể mua proxy dân cư tĩnh hoặc datacenter tại ProxyVN, hỗ trợ HTTP và SOCKS5. Tách bạch hai phần giúp đổi proxy không ảnh hưởng tới máy chủ AI.

Kết luận

Ollama proxy gồm hai chiều độc lập: đặt HTTPS_PROXY cho dịch vụ máy chủ để tải model, và đặt reverse proxy có xác thực phía trước API khi chia sẻ. Tránh HTTP_PROXY, khai báo NO_PROXY cho localhost, không bao giờ lộ cổng 11434. Cần tư vấn thêm về proxy, hãy liên hệ Proxy.vn - Nhà cung cấp dịch vụ proxy chất lượng hàng đầu Việt Nam khi cấu hình Ollama proxy.

Quảng cáo
Xem ngay
TIN TỨC LIÊN QUAN
Proxy Cho Crawlee: Gắn IP Và Quản Lý Session Khi Crawl
Proxy Cho Crawlee: Gắn IP Và Quản Lý Session Khi Crawl
Chuyên viên Kỹ thuật ProxyVN 22-10-2026
Proxy Cho WhatsApp: Giữ Kết Nối Ổn Định Và Tách Tài Khoản
Proxy Cho WhatsApp: Giữ Kết Nối Ổn Định Và Tách Tài Khoản
Chuyên viên Kỹ thuật ProxyVN 21-10-2026
Cài Proxy Trên Router: Định Tuyến Cả Mạng Nhà Qua Proxy
Cài Proxy Trên Router: Định Tuyến Cả Mạng Nhà Qua Proxy
Chuyên viên Kỹ thuật ProxyVN 20-10-2026