Google Colab proxy: Dùng proxy trong notebook Colab
Google Colab proxy là câu hỏi hay gặp của người dùng Python khi chạy notebook trên Colab: làm sao cho requests, aiohttp, Selenium trong notebook đi qua proxy. Lý do thường là máy Colab chạy trên IP trung tâm dữ liệu của Google ở nước ngoài, nên kết quả tìm kiếm, giá, nội dung ra theo vùng khác, hoặc trang web chặn dải IP đám mây. Nhưng có một điểm nhiều hướng dẫn bỏ qua: câu hỏi thường gặp của Colab ghi rõ việc kết nối tới proxy từ xa nằm trong danh sách hoạt động bị cấm trên runtime do Google quản lý. Bài này ProxyVN giải thích cách Colab chạy, quy định liên quan tới proxy, cách dùng proxy đúng quy định bằng runtime cục bộ, cách cất thông tin proxy bằng Colab Secrets, cách kiểm tra IP và các lỗi thường gặp. Xem thêm dịch vụ tại ProxyVN.
Tổng quan về Google Colab
Colab là gì
Google Colab là dịch vụ chạy sổ tay Jupyter trên trình duyệt, mã chạy trên máy ảo của Google, có GPU, TPU miễn phí ở mức giới hạn và các gói trả phí. Dùng nhiều cho học máy, phân tích dữ liệu, giảng dạy. Truy cập tại colab.research.google.com.
Mã chạy ở đâu
Máy chạy notebook nằm trên đám mây
Khi bấm chạy một ô mã, mã không chạy trên máy tính của mình mà trên máy ảo (runtime) do Google cấp. Mọi yêu cầu mạng từ mã, như tải dữ liệu, gọi API, mở trang web, đi ra Internet từ IP của máy ảo đó. IP này thuộc hạ tầng đám mây của Google, thường đặt ở Mỹ hoặc khu vực khác, không phải ở Việt Nam.
Thời gian sống của runtime
Theo câu hỏi thường gặp của Colab, bản miễn phí chạy tối đa khoảng 12 giờ tuỳ tình trạng tài nguyên, runtime bị thu hồi khi không hoạt động một thời gian. Bản trả phí cao hơn chạy lâu hơn. Mỗi lần kết nối lại có thể nhận máy ảo khác, IP khác.
Vì sao người dùng muốn dùng proxy
Mong muốn |
Nguyên nhân |
|---|---|
Kết quả tìm kiếm, giá theo Việt Nam |
IP Colab ở nước ngoài |
Vào trang chặn dải IP đám mây |
Nhiều trang chặn IP trung tâm dữ liệu |
Gọi API có danh sách IP cho phép |
IP Colab thay đổi mỗi phiên |
Kiểm tra nội dung theo vùng |
Cần IP từ vùng cụ thể |
Quy định của Colab về proxy
Điều khoản hạn chế kết nối proxy
Danh sách hoạt động bị cấm
Câu hỏi thường gặp của Colab liệt kê các hoạt động bị cấm trên mọi runtime do Google quản lý, trong đó có: cung cấp dịch vụ web, lưu trữ tệp không liên quan tới tính toán tương tác, tải torrent, kết nối tới proxy từ xa, đào tiền mã hoá, tấn công từ chối dịch vụ, bẻ mật khẩu, dùng nhiều tài khoản để vượt giới hạn tài nguyên. Bản miễn phí có thêm các hạn chế như không dùng điều khiển từ xa qua SSH, máy tính từ xa.
Ý nghĩa với người dùng
Chạy mã trong notebook trên runtime của Google mà gửi yêu cầu qua proxy từ xa là vi phạm quy định này. Hậu quả có thể là runtime bị ngắt, tài khoản bị hạn chế sử dụng Colab. Điều khoản sử dụng đầy đủ có tại trang điều khoản Colab.
ProxyVN khuyên gì
Không cấu hình proxy trong notebook chạy trên runtime do Google quản lý. Nếu công việc cần proxy, chuyển phần cần proxy sang môi trường mình kiểm soát: máy tính cá nhân, máy chủ thuê, hoặc kết nối Colab với runtime cục bộ. Colab vẫn hữu ích cho phần xử lý, huấn luyện mô hình trên dữ liệu đã thu thập.
Cách đúng: kết nối Colab với runtime cục bộ
Notebook nối với runtime trên máy mình
Runtime cục bộ là gì
Colab cho kết nối giao diện notebook với một máy chủ Jupyter chạy trên máy của mình (local runtime). Giao diện vẫn là Colab trên trình duyệt, nhưng mã chạy trên máy mình, dùng mạng của máy mình. Lúc này không còn là runtime do Google quản lý, nên quy định về runtime quản lý không áp dụng, và dùng proxy như chạy Python trên máy bình thường.
Các bước
- Cài Jupyter trên máy: pip install jupyter.
- Chạy máy chủ Jupyter cho phép Colab kết nối theo hướng dẫn trong menu Connect to a local runtime của Colab (cần tham số cho phép nguồn từ colab.research.google.com).
- Sao chép đường dẫn có mã truy cập mà Jupyter in ra.
- Trong Colab, chọn mũi tên cạnh nút Connect, chọn Connect to a local runtime, dán đường dẫn.
Đặt proxy cho runtime cục bộ
Đặt biến môi trường trước khi chạy Jupyter, mọi thư viện tôn trọng biến proxy sẽ đi qua proxy:
set HTTPS_PROXY=http://user01:matkhau01@203.0.113.10:8080
set HTTP_PROXY=http://user01:matkhau01@203.0.113.10:8080
jupyter notebook --NotebookApp.allow_origin="https://colab.research.google.com" --port=8888Trên macOS, Linux dùng export thay cho set. Mỗi notebook chạy trên runtime này đều đi qua proxy.
Ưu và nhược điểm
Tiêu chí |
Runtime Google |
Runtime cục bộ |
|---|---|---|
GPU, TPU miễn phí |
Có |
Không, dùng phần cứng của mình |
Dùng proxy |
Bị cấm |
Được |
IP ra ngoài |
IP đám mây Google |
IP mạng mình hoặc proxy |
Thời gian chạy |
Giới hạn |
Không giới hạn |
Dữ liệu |
Trên máy ảo, mất khi thu hồi |
Trên máy mình |
Đặt proxy cho requests trong notebook chạy cục bộ
Truyền proxy trực tiếp
import requests
proxies = {
"http": "http://user01:matkhau01@203.0.113.10:8080",
"https": "http://user01:matkhau01@203.0.113.10:8080",
}
r = requests.get("https://api.ipify.org?format=json", proxies=proxies, timeout=15)
print(r.json())Cách khai báo proxy trong requests có trong tài liệu requests mục proxy. Hướng dẫn chi tiết bằng tiếng Việt trong bài cài đặt Python proxy từ thư viện requests.
SOCKS5
pip install "requests[socks]"
proxies = {"https": "socks5h://user01:matkhau01@203.0.113.10:1080"}aiohttp
import aiohttp, asyncio
async def main():
async with aiohttp.ClientSession() as s:
async with s.get("https://api.ipify.org", proxy="http://user01:matkhau01@203.0.113.10:8080") as r:
print(await r.text())
await main()Trong notebook, dùng await trực tiếp ở ô mã vì Jupyter đã có vòng lặp sự kiện.
Selenium
Selenium với Chrome nhận proxy qua tham số --proxy-server. Proxy có mật khẩu cần proxy HTTP kèm tiện ích xác thực hoặc thư viện hỗ trợ, vì Chrome không nhận mật khẩu trong tham số dòng lệnh.
Cất thông tin proxy bằng Colab Secrets
Cất mật khẩu proxy trong kho bí mật
Vì sao không ghi thẳng mật khẩu
Notebook hay được chia sẻ, đưa lên kho mã, gửi cho đồng nghiệp. Mật khẩu proxy ghi thẳng trong ô mã sẽ lộ theo.
Dùng Secrets
Colab có ngăn Secrets (biểu tượng chìa khoá ở thanh bên trái). Thêm bí mật tên PROXY_URL, giá trị là chuỗi proxy, bật quyền truy cập cho notebook. Trong mã:
from google.colab import userdata
proxy_url = userdata.get("PROXY_URL")
proxies = {"http": proxy_url, "https": proxy_url}Secrets gắn với tài khoản, không đi theo notebook khi chia sẻ. Cách này cũng dùng cho khoá API, mã truy cập khác. Với runtime cục bộ, thư viện google.colab không có sẵn, dùng biến môi trường hoặc tệp .env thay thế.
Xác thực bằng IP whitelist không hợp với Colab
IP Colab thay đổi
Mỗi phiên Colab có thể nhận máy ảo khác với IP khác. Thêm IP vào danh sách cho phép của một dịch vụ thì phiên sau IP đã đổi. Với proxy hay API xác thực bằng IP, cách này không dùng được trên runtime của Google.
Dùng tên đăng nhập, mật khẩu
Với runtime cục bộ hoặc máy chủ có IP cố định, xác thực bằng IP vẫn tốt. So sánh hai cách xác thực có trong bài xác thực proxy bằng IP whitelist hay user password trên blog.
Kiểm tra IP thực tế
Trên runtime Google
import requests
print(requests.get("https://ipinfo.io/json", timeout=10).json())Kết quả cho thấy IP, quốc gia, tổ chức sở hữu (thường là Google). Dùng để hiểu vì sao kết quả tìm kiếm, giá ra theo vùng khác.
Trên runtime cục bộ có proxy
Chạy cùng đoạn mã, kết quả phải là IP của proxy. Nếu vẫn là IP mạng nhà, biến môi trường chưa có hiệu lực: kiểm tra đã đặt trước khi chạy Jupyter chưa.
Thu thập dữ liệu hợp lệ: chia việc giữa máy mình và Colab
Tách hai giai đoạn
Nhiều dự án học máy cần dữ liệu từ web rồi mới huấn luyện. Cách làm gọn:
- Giai đoạn thu thập: chạy trên máy mình hoặc máy chủ thuê, đi qua proxy nếu cần, lưu kết quả vào tệp.
- Giai đoạn xử lý: tải tệp lên Google Drive, mở trong Colab, dùng GPU để huấn luyện, phân tích.
Cách này tận dụng GPU của Colab mà không vi phạm quy định về proxy.
Tôn trọng trang nguồn
Thu thập dữ liệu web cần tuân thủ điều khoản của trang, tệp robots.txt, không gây quá tải. Kiến thức nền có trong bài web scraping proxy là gì. Với dự án lớn, Scrapy là lựa chọn tốt, xem bài proxy Scrapy.
Tải mô hình, dữ liệu từ Hugging Face
Colab tải mô hình, bộ dữ liệu từ Hugging Face rất nhanh vì đi thẳng từ hạ tầng đám mây, không cần proxy. Khi chạy trên máy trong mạng công ty có proxy, cách cấu hình có trong bài Hugging Face proxy.
Những hướng dẫn sai về proxy trên Colab
Trên mạng có nhiều bài, video hướng dẫn "đổi IP cho Colab" bằng proxy. Phần lớn bỏ qua quy định của Colab hoặc dùng cách thiếu an toàn.
Dùng danh sách proxy miễn phí
Một số hướng dẫn tải danh sách proxy công khai rồi xoay vòng trong notebook. Ngoài việc vi phạm quy định về proxy, proxy miễn phí thường chết nhanh, chậm, có thể ghi lại dữ liệu đi qua. Kết quả là mã chạy chập chờn, dữ liệu thu được thiếu, tài khoản Google có nguy cơ bị hạn chế Colab.
Dựng đường hầm từ Colab ra ngoài
Có hướng dẫn dựng đường hầm từ máy ảo Colab tới máy chủ khác để dùng Colab như máy chủ trung gian hoặc để điều khiển từ xa. Câu hỏi thường gặp của Colab cấm các hoạt động như cung cấp dịch vụ web không liên quan tới tính toán tương tác, điều khiển từ xa trên bản miễn phí. Đây là cách nhanh nhất để bị ngắt runtime.
Dùng nhiều tài khoản để tránh bị ngắt
Tạo nhiều tài khoản Google để chạy tiếp khi một tài khoản bị giới hạn cũng nằm trong danh sách bị cấm. Rủi ro lan sang các dịch vụ Google khác của tài khoản đó.
Kết luận
Những cách trên có thể chạy được vài lần, nhưng không bền và có rủi ro cho tài khoản. Tách việc cần proxy ra môi trường của mình là cách làm đúng và ổn định lâu dài.
Các lựa chọn thay thế Colab khi cần proxy
Máy tính cá nhân
Với dự án nhỏ, chạy Jupyter trên máy mình là đủ. Đặt proxy bằng biến môi trường, không lo thời gian chạy bị giới hạn. Thiếu GPU thì tách phần huấn luyện lên Colab như đã nói.
Máy chủ ảo thuê theo tháng
Máy chủ ảo ở Việt Nam có IP Việt Nam sẵn, chạy liên tục, dùng proxy thoải mái. Phù hợp công việc thu thập định kỳ. Chi phí vài trăm nghìn đồng một tháng cho cấu hình cơ bản.
Dịch vụ sổ tay khác
Một số dịch vụ sổ tay trên đám mây khác có quy định riêng về mạng. Đọc kỹ điều khoản từng dịch vụ trước khi dùng proxy. Không giả định dịch vụ nào cũng cho phép.
Máy chủ có GPU thuê theo giờ
Khi cần cả GPU lẫn quyền kiểm soát mạng, thuê máy chủ GPU theo giờ trên các nền tảng điện toán đám mây. Mình toàn quyền cấu hình mạng, proxy theo điều khoản của nhà cung cấp đó.
Bảng chọn nhanh
Nhu cầu |
Môi trường hợp lý |
|---|---|
Học tập, thử mô hình nhỏ, không cần proxy |
Colab |
Thu thập dữ liệu cần IP Việt Nam |
Máy cá nhân hoặc máy chủ ảo Việt Nam có proxy |
Huấn luyện mô hình lớn trên dữ liệu đã có |
Colab Pro hoặc máy chủ GPU |
Dùng giao diện Colab nhưng cần proxy |
Runtime cục bộ |
Bảo mật khi dùng runtime cục bộ
Chỉ mở Jupyter cho Colab
Khi chạy Jupyter cho Colab kết nối, máy chủ Jupyter nghe trên cổng của máy mình. Chỉ cho phép nguồn từ colab.research.google.com, giữ mã truy cập bí mật, không chia sẻ đường dẫn có mã. Ai có đường dẫn này có thể chạy mã trên máy mình.
Không chạy notebook lạ trên runtime cục bộ
Notebook do người khác chia sẻ, chạy trên runtime cục bộ, có toàn quyền như mình trên máy. Đọc kỹ mã trước khi chạy, nhất là các ô cài thư viện, tải tệp, chạy lệnh hệ thống.
Tắt Jupyter khi xong việc
Dùng xong thì dừng máy chủ Jupyter. Để chạy liên tục là để cửa mở không cần thiết.
Tách tài khoản proxy
Proxy dùng cho thu thập dữ liệu nên là tài khoản riêng, không dùng chung với proxy cho tài khoản mạng xã hội hay công việc khác. Lỡ lộ mật khẩu chỉ ảnh hưởng một việc.
Colab và dữ liệu trên Google Drive
Gắn Drive vào notebook
Colab gắn Google Drive bằng đoạn mã có sẵn, đọc ghi tệp như thư mục trên máy. Đây là cầu nối giữa phần thu thập trên máy mình và phần xử lý trên Colab.
Lưu ý tốc độ
Câu hỏi thường gặp của Colab lưu ý tệp trên Drive có thể nằm ở vùng xa runtime, đọc nhiều tệp nhỏ sẽ chậm. Gom dữ liệu thành vài tệp lớn hoặc nén lại trước khi tải lên Drive, rồi chép vào ổ đĩa của runtime trước khi xử lý.
Không lưu mật khẩu trong Drive
Tệp cấu hình có mật khẩu proxy để trong Drive dễ bị chia sẻ nhầm khi chia sẻ thư mục. Dùng Secrets hoặc giữ trên máy.
Hiểu đúng về IP khi chạy mã trên đám mây
IP trung tâm dữ liệu và IP dân cư
IP của Colab thuộc dải trung tâm dữ liệu của Google. Các trang web, hệ thống chống bot nhận ra dải này dễ dàng. Người dùng thật hiếm khi duyệt web từ IP trung tâm dữ liệu, nên nhiều trang đưa ra kiểm tra CAPTCHA, giới hạn tần suất hoặc chặn hẳn. Đây không phải lỗi của mã, mà là cách trang web tự bảo vệ.
Nội dung theo vùng
Công cụ tìm kiếm, trang thương mại điện tử, trang tin tức trả nội dung theo vị trí IP. Mã chạy trên Colab với IP ở Mỹ sẽ thấy giá bằng đô la, kết quả tìm kiếm tiếng Anh, sản phẩm khác. Muốn thấy đúng như người dùng Việt Nam, mã phải chạy từ IP Việt Nam.
IP thay đổi giữa các phiên
Mỗi lần runtime bị thu hồi và cấp lại, máy ảo mới có IP khác, có khi ở vùng khác. Mã phụ thuộc vào IP cố định, như gọi API có danh sách cho phép, sẽ lỗi khi sang phiên mới.
Hệ quả cho dự án
Dự án nào phụ thuộc IP, như theo dõi giá, theo dõi thứ hạng tìm kiếm tại Việt Nam, kiểm tra quảng cáo hiển thị theo vùng, không nên đặt phần gửi yêu cầu trên Colab. Dự án chỉ cần tải dữ liệu công khai lớn, như bộ dữ liệu nghiên cứu, mô hình mở, thì Colab rất hợp vì đường truyền của Google nhanh.
Quy trình mẫu cho dự án theo dõi giá
Thành phần
- Máy chủ ảo nhỏ ở Việt Nam chạy mã thu thập mỗi ngày, đi qua proxy IP Việt Nam khi cần tách IP.
- Thư mục chung trên Google Drive nhận tệp kết quả.
- Notebook Colab đọc tệp, làm sạch, phân tích, vẽ biểu đồ.
Lịch chạy
Máy chủ chạy mã thu thập lúc 2 giờ sáng bằng lịch hệ thống, tần suất thấp để không gây tải cho trang nguồn. Xong thì đẩy tệp lên Drive. Sáng ra mở Colab chạy phân tích.
Lợi ích
Mỗi phần chạy đúng chỗ của nó: phần mạng ở nơi có IP phù hợp và được phép dùng proxy, phần tính toán ở nơi có tài nguyên. Không vi phạm quy định, không phụ thuộc vào thời gian sống của runtime Colab.
Proxy khi Colab chạy trong mạng công ty
Trình duyệt đi qua proxy công ty
Nhân viên mở Colab trong mạng công ty có proxy: trình duyệt đi qua proxy công ty để tới trang Colab. Việc này bình thường, không liên quan tới quy định về proxy của runtime. Quy định chỉ nói về mã chạy trên máy ảo của Google kết nối ra proxy từ xa.
Lỗi khi proxy công ty chặn WebSocket
Giao diện Colab dùng kết nối WebSocket để giữ liên lạc với runtime. Một số proxy công ty chặn hoặc cắt WebSocket, làm Colab báo mất kết nối liên tục. Báo bộ phận IT cho phép WebSocket tới tên miền của Colab.
Runtime cục bộ trong mạng công ty
Khi dùng runtime cục bộ trong mạng công ty, mã chạy trên máy công ty, đi qua proxy công ty. Đặt biến HTTPS_PROXY theo proxy công ty, thêm chứng chỉ của proxy nếu proxy giải mã HTTPS, để pip và requests không báo lỗi chứng chỉ.
Ghi chú khi làm việc nhóm trên Colab
Nhóm nghiên cứu, nhóm sinh viên dùng chung notebook nên thống nhất từ đầu: notebook trên Colab chỉ dùng cho phần xử lý, không chứa mã kết nối proxy, không chứa mật khẩu. Phần thu thập để trong kho mã riêng, chạy trên máy được phân công. Ghi rõ nguồn dữ liệu, ngày thu thập ở đầu notebook để người sau biết dữ liệu lấy từ đâu, lấy bằng cách nào. Quy ước đơn giản này tránh việc một thành viên vô tình chạy mã có proxy trên runtime của Google, làm tài khoản của cả nhóm gặp rắc rối.
Lỗi thường gặp
Hiện tượng |
Nguyên nhân hay gặp |
Cách xử lý |
|---|---|---|
ProxyError trong requests |
Proxy sai, chết, sai mật khẩu |
Kiểm tra lại chuỗi proxy |
Không kết nối được runtime cục bộ |
Thiếu tham số allow_origin, sai cổng |
Chạy lại Jupyter theo hướng dẫn kết nối |
IP vẫn là IP nhà dù đã đặt proxy |
Biến đặt sau khi chạy Jupyter |
Đặt biến rồi khởi động lại Jupyter |
Missing dependencies for SOCKS |
Chưa cài requests[socks] |
pip install "requests[socks]" |
userdata.get báo lỗi |
Chưa bật quyền cho notebook |
Bật quyền truy cập trong ngăn Secrets |
Runtime bị ngắt đột ngột |
Vi phạm quy định, hết thời gian |
Kiểm tra mã có kết nối proxy không |
Lỗi ProxyError chi tiết có trong bài requests.exceptions.ProxyError.
Ví dụ: sinh viên làm đề tài phân tích giá
Một sinh viên làm đề tài phân tích biến động giá điện thoại trên các trang bán hàng Việt Nam, định chạy mã thu thập trên Colab. Kết quả trả về giá theo vùng nước ngoài, một số trang chặn.
Hướng xử lý
- Đọc quy định, biết không được nối proxy từ xa trên runtime Colab.
- Viết mã thu thập chạy trên máy tính cá nhân với mạng Việt Nam, tần suất thấp, mỗi ngày một lần.
- Lưu dữ liệu ra tệp CSV, tải lên Google Drive.
- Dùng Colab để làm sạch dữ liệu, vẽ biểu đồ, chạy mô hình dự báo.
Kết quả
Dữ liệu đúng giá Việt Nam, không vi phạm quy định Colab, vẫn tận dụng được tài nguyên tính toán của Colab cho phần phân tích.
Chọn proxy cho môi trường chạy cục bộ
Khi chạy thu thập dữ liệu trên máy mình hoặc máy chủ thuê, proxy IP Việt Nam giúp nhận kết quả đúng vùng, proxy datacenter cho tốc độ cao với khối lượng lớn. Anh em cần proxy HTTP, SOCKS5 IP Việt Nam cho Python có thể mua proxy tại ProxyVN.
Câu hỏi thường gặp về Google Colab proxy
Colab có cho dùng proxy không
Câu hỏi thường gặp của Colab liệt kê kết nối tới proxy từ xa là hoạt động bị cấm trên runtime do Google quản lý. Dùng runtime cục bộ nếu cần proxy.
IP của Colab ở đâu
IP thuộc hạ tầng đám mây Google, thường ở nước ngoài, thay đổi giữa các phiên.
Runtime cục bộ có dùng GPU của Colab không
Không. Runtime cục bộ dùng phần cứng máy mình.
Cất mật khẩu proxy ở đâu cho an toàn
Trong Colab Secrets với notebook trên Colab, hoặc biến môi trường, tệp .env với runtime cục bộ.
Vì sao kết quả tìm kiếm trên Colab ra tiếng Anh
Vì IP Colab ở nước ngoài, trang web trả nội dung theo vùng đó.
Có cách nào cho Colab có IP Việt Nam không
Không có cách hợp lệ trên runtime do Google quản lý. Chạy phần cần IP Việt Nam trên máy mình hoặc máy chủ tại Việt Nam.
Tổng kết
Google Colab proxy cần hiểu đúng quy định: Colab liệt kê kết nối tới proxy từ xa là hoạt động bị cấm trên runtime do Google quản lý. Mã trên Colab chạy trên máy ảo có IP đám mây ở nước ngoài, thay đổi mỗi phiên, nên xác thực bằng IP whitelist cũng không phù hợp. Cách đúng là kết nối Colab với runtime cục bộ và đặt proxy bằng biến môi trường hoặc tham số proxies của requests, cất mật khẩu bằng Secrets hoặc tệp .env, và tách việc thu thập dữ liệu khỏi việc xử lý trên Colab. Cần tư vấn về proxy, anh em liên hệ Proxy.vn - Nhà cung cấp dịch vụ proxy chất lượng hàng đầu Việt Nam để được tư vấn.
