Proxy Octoparse: Cài proxy và xoay IP khi cào dữ liệu

Proxy Octoparse giúp công cụ cào dữ liệu không cần code này gửi yêu cầu qua nhiều IP, hạn chế bị website chặn khi thu thập số lượng lớn. Octoparse được nhiều người làm marketing, bán hàng, nghiên cứu thị trường dùng vì giao diện kéo thả. Nhưng phần proxy có vài giới hạn quan trọng mà nhiều người chỉ phát hiện khi task đã lỗi. ProxyVN hướng dẫn chi tiết trong bài này.

Tổng quan về proxy Octoparse

Octoparse là phần mềm thu thập dữ liệu web bằng giao diện trực quan. Theo trang chính thức Octoparse, người dùng tạo task bằng cách bấm vào phần tử trên trang, phần mềm tự sinh quy trình thu thập, chạy trên máy cá nhân hoặc trên đám mây của Octoparse. Proxy Octoparse là nhóm tính năng giúp các yêu cầu này đi qua IP khác thay vì IP của máy anh em.

Ba nơi đặt proxy trong Octoparse

Ba nơi đặt proxy trong Octoparse

Theo bài thiết lập IP proxy của Octoparse, proxy xuất hiện ở ba chỗ với mục đích khác nhau:

• Proxy cho đăng nhập phần mềm: dùng khi mạng công ty chặn kết nối ra ngoài, khiến không đăng nhập được Octoparse. Chỉ áp dụng lúc đăng nhập, không áp dụng cho chỉnh sửa hay chạy task.
• Proxy khi chỉnh sửa task: dùng khi website đích chặn IP của anh em hoặc không mở được từ vị trí hiện tại, khiến không dựng được task.
• Proxy khi chạy task: dùng để xoay IP chống bị chặn trong lúc thu thập dữ liệu. Đây là phần quan trọng nhất.

Proxy Octoparse có hai loại

Khi chạy task, anh em chọn giữa proxy tích hợp của Octoparse và proxy của riêng mình. Hai loại khác nhau về cách tính phí, nơi chạy và định dạng. Chọn sai loại là nguyên nhân phổ biến khiến task không chạy được trên Cloud.

Vì sao cào dữ liệu cần proxy

Website theo dõi số yêu cầu từ mỗi IP. Khi một IP gửi quá nhiều yêu cầu trong thời gian ngắn, website trả lỗi 429, hiện CAPTCHA hoặc chặn hẳn. Proxy phân tán yêu cầu qua nhiều IP, mỗi IP gửi ít hơn, giảm khả năng bị chặn. Nguyên lý chung có trong bài web scraping proxy là gì.

Cài proxy Octoparse cho đăng nhập phần mềm

Nếu anh em làm việc trong mạng công ty, trường học hoặc tổ chức hạn chế kết nối ra ngoài, Octoparse có thể không đăng nhập được. Proxy đăng nhập giải quyết tình huống này.

Các bước theo hướng dẫn chính thức

• Ở màn hình đăng nhập, bấm Settings.
• Chọn Manual proxy configurations.
• Nhập địa chỉ IP và cổng của proxy.
• Bấm Test Connection để kiểm tra.
• Bấm Confirm để lưu.

Giới hạn của proxy đăng nhập

Tài liệu ghi rõ proxy cần tài khoản và mật khẩu không được hỗ trợ ở bước này. Proxy đăng nhập cũng chỉ áp dụng lúc đăng nhập, không ảnh hưởng tới chỉnh sửa hay chạy task. Nếu mạng công ty dùng proxy có xác thực, cần hỏi bộ phận IT cách cho Octoparse đi qua, ví dụ thêm ngoại lệ hoặc proxy trung gian không xác thực.

Cài proxy Octoparse tích hợp khi chạy task

Proxy tích hợp của Octoparse dùng được cho cả chạy Local và chạy Cloud. Đây là lựa chọn đơn giản nhất cho người không muốn tự quản lý proxy.

Task Settings > Anti-blocking

Các bước bật proxy tích hợp

• Mở task cần chạy.
• Vào Task Settings, chọn thẻ Anti-blocking.
• Tích ô Access website via proxies.
• Bấm Use Octoparse proxies.
• Chọn vị trí: Default là các quốc gia ngẫu nhiên, hoặc chọn một quốc gia, khu vực cụ thể.
• Đặt khoảng thời gian xoay IP ở mục Rotate time.
• Bấm Save ở góc trên bên trái.

Từ phiên bản 8.6.8, có thể bật proxy tích hợp ngay khi tạo task.

Chi phí và giới hạn

Tài liệu Octoparse nêu proxy tích hợp tính phí 3 USD mỗi GB, theo lưu lượng tải trang, nên cần tối thiểu 3 USD tín dụng. Ước tính khoảng 500 trang mỗi GB, nhưng proxy có thể không hoạt động với mọi trang. Octoparse khuyên nạp ít để thử trước. Tín dụng không hoàn lại. Không có gói proxy không giới hạn.

Khi nào dùng proxy tích hợp

Proxy tích hợp hợp khi anh em cần chạy Cloud, cần IP nhiều quốc gia, hoặc khối lượng nhỏ không đáng tự mua proxy. Với khối lượng lớn, tính theo GB có thể tốn kém, nên so sánh với chi phí tự mua proxy. Bài cách tính chi phí mua proxy theo mỗi request giúp tính toán.

Cài proxy Octoparse riêng khi chạy Local

Nếu anh em đã có proxy mua từ nhà cung cấp, có thể dùng chúng trong Octoparse khi chạy trên máy cá nhân. Đây là phần cần đọc kỹ vì có giới hạn về định dạng.

Proxy riêng dạng IP:port và whitelist

Các bước bật proxy riêng

• Mở Task Settings, chọn Anti-blocking.
• Tích Use my own proxies.
• Bấm Configure.
• Nhập danh sách proxy, mỗi proxy một dòng.
• Bấm Confirm và lưu task.

Chỉ hỗ trợ HTTP dạng IP:port

Theo tài liệu, proxy riêng chỉ hỗ trợ HTTP, viết dạng IP và cổng cách nhau bằng dấu hai chấm, ví dụ 58.22.214.29:2318. Định dạng này không có chỗ cho tài khoản và mật khẩu. Nghĩa là proxy riêng phải xác thực bằng whitelist IP: anh em thêm IP máy tính chạy Octoparse vào danh sách cho phép ở trang quản lý của nhà cung cấp. Bài xác thực proxy bằng IP whitelist hay user password giải thích cách làm.

Ví dụ danh sách hợp lệ:

103.x.x.11:8080
103.x.x.12:8080
103.x.x.13:8080

Chuyển danh sách nhà cung cấp về dạng IP:port

Nhà cung cấp thường gửi proxy dạng IP:Port:User:Pass. Đoạn Python dưới cắt bỏ phần tài khoản để nhập vào Octoparse, sau khi anh em đã bật whitelist:

with open("proxy_goc.txt", encoding="utf-8") as f, \
     open("proxy_octoparse.txt", "w", encoding="utf-8") as out:
    for line in f:
        parts = line.strip().split(":")
        if len(parts) >= 2:
            out.write(f"{parts[0]}:{parts[1]}\n")

Đây là ví dụ triển khai chung, không phải công cụ của Octoparse. Nếu chưa bật whitelist, proxy sẽ từ chối kết nối dù định dạng đúng.

Proxy riêng không dùng được trên Cloud

Tài liệu ghi rõ proxy riêng không hỗ trợ chạy Cloud. Chạy Cloud bắt buộc dùng proxy tích hợp hoặc IP pool của Octoparse. Đây là điểm nhiều người nhầm, mua proxy riêng rồi mới biết không đưa được lên Cloud.

Proxy Octoparse khi chỉnh sửa task

Đôi khi anh em không mở được website đích ngay trong trình duyệt tích hợp của Octoparse, vì IP bị chặn hoặc website không phục vụ khu vực của anh em. Lúc này cần proxy ngay ở bước chỉnh sửa.

Các bước

Bấm Proxy ở góc trên bên phải giao diện chỉnh sửa task, chọn proxy tích hợp hoặc proxy riêng. Nếu muốn dùng cùng proxy khi chạy task, tích Use the same proxies for task runs.

Khi nào cần

Khi website chỉ hiển thị đúng nội dung với IP của một quốc gia, ví dụ sàn thương mại điện tử chỉ phục vụ trong nước. Dựng task bằng IP đúng quốc gia giúp các phần tử trên trang giống với lúc chạy thật, tránh task lỗi do bố cục khác.

Chọn IP pool khi chạy Octoparse trên Cloud

Với chạy Cloud, ngoài proxy tích hợp tính theo GB, Octoparse có Public IP Pool. Theo bài chuyển IP pool cho Cloud, có bảy quốc gia, khu vực: Mỹ, Anh, Đức, Nhật, Úc, Pháp và Trung Quốc.

Chạy Local và chạy Cloud

Cách chọn IP pool

• Mở Task Settings.
• Vào Run Settings, tìm Public IP Pool, chọn nhóm IP trong danh sách.
• Bấm Save.

Nhóm Default thường đặt tại Mỹ, riêng người dùng ở Nhật mặc định nhận IP Nhật. Nếu không chắc nhóm mặc định của mình, liên hệ hỗ trợ.

Khi IP pool không có quốc gia cần

Danh sách bảy quốc gia không có Việt Nam. Nếu cần IP Việt Nam khi chạy Cloud, dùng proxy tích hợp và chọn quốc gia cụ thể nếu Octoparse có hỗ trợ. Nếu không, chạy Local với proxy Việt Nam riêng. Anh em có thể mua proxy Việt Nam tại ProxyVN, bật whitelist IP và nhập dạng IP:port cho Octoparse chạy Local.

So sánh các lựa chọn proxy Octoparse

Bảng: So sánh các lựa chọn proxy Octoparse

Lựa chọn	Chạy Local	Chạy Cloud	Định dạng	Chi phí
Proxy tích hợp của Octoparse	Có	Có	Không cần nhập	3 USD mỗi GB
Proxy riêng	Có	Không	HTTP, IP:port, không tài khoản	Theo nhà cung cấp
Public IP Pool	Không	Có	Chọn trong danh sách	Theo gói Octoparse

Gợi ý chọn theo nhu cầu

• Khối lượng nhỏ, cần nhanh: proxy tích hợp, không phải lo cấu hình.
• Khối lượng lớn, chạy trên máy: proxy riêng với whitelist, chi phí dễ dự đoán.
• Cần chạy lịch trên Cloud: Public IP Pool hoặc proxy tích hợp.
• Cần IP Việt Nam theo nhà mạng: chạy Local với proxy Việt Nam riêng.

Kết hợp proxy Octoparse với các biện pháp chống chặn khác

Proxy chỉ là một trong nhiều biện pháp. Octoparse có cả nhóm tài liệu chống chặn, gồm User-Agent, CAPTCHA, Cloudflare. Kết hợp đúng giúp task chạy ổn định hơn.

User-Agent tuỳ chỉnh

Octoparse có hướng dẫn thêm User-Agent tuỳ chỉnh. User-Agent mô tả trình duyệt và hệ điều hành. Dùng User-Agent của trình duyệt phổ biến, đồng bộ với loại thiết bị mà website phục vụ. Bài User-Agent là gì giải thích vì sao User-Agent phải khớp với IP.

Thời gian chờ giữa các bước

Thêm thời gian chờ giữa các lần mở trang, cuộn, bấm, nhất là ở các bước chuyển trang và phân trang dài. Hành vi quá nhanh dễ bị phát hiện dù IP thay đổi. Thời gian chờ ngẫu nhiên tự nhiên hơn thời gian cố định.

CAPTCHA và Cloudflare

Octoparse có hướng dẫn xử lý CAPTCHA và kiểm tra bảo mật của Cloudflare. Khi gặp nhiều CAPTCHA, giảm tốc độ và kiểm tra lại chất lượng IP trước khi tìm cách giải CAPTCHA. Kiến thức chung có trong bài CAPTCHA là gì.

Tôn trọng website đích

Chỉ thu thập dữ liệu công khai, không đăng nhập vào khu vực riêng tư của người khác, không gây quá tải máy chủ. Đọc điều khoản sử dụng và robots.txt của website. Tài liệu giới thiệu robots.txt của Google giải thích vai trò của tệp này.

Sửa lỗi proxy Octoparse thường gặp

Bảng: Sửa lỗi proxy Octoparse thường gặp

Lỗi	Nguyên nhân khả dĩ	Cách xử lý
Proxy riêng không kết nối	Chưa whitelist IP máy, hoặc nhập kèm tài khoản	Bật whitelist, chỉ nhập IP:port
Task Cloud báo lỗi proxy	Dùng proxy riêng cho Cloud	Chuyển sang proxy tích hợp hoặc IP pool
Không đăng nhập được Octoparse	Mạng công ty chặn	Đặt proxy đăng nhập không xác thực
Hết tín dụng giữa chừng	Proxy tích hợp tính theo GB	Nạp thêm, ước tính lưu lượng trước
Nhiều trang trả CAPTCHA	Tốc độ cao, IP kém	Giảm tốc độ, đổi loại IP
Dữ liệu thiếu, bố cục khác	Dựng task bằng IP khác quốc gia khi chạy	Dùng cùng proxy khi chỉnh sửa và chạy

Kiểm tra proxy riêng trước khi nhập

Thử từng proxy bằng curl trên chính máy chạy Octoparse. Vì dùng whitelist, lệnh không cần tài khoản:

curl -x http://103.x.x.11:8080 https://api.ipify.org

Nếu lệnh in ra IP proxy, whitelist đã hoạt động. Nếu bị từ chối, kiểm tra lại IP máy trong whitelist. Cách đọc lỗi curl có trong bài cURL proxy là gì.

Kiểm tra IP máy có thay đổi

Mạng gia đình có thể đổi IP sau khi khởi động lại modem. Khi IP máy đổi, whitelist cũ không còn khớp, mọi proxy riêng đều lỗi cùng lúc. Kiểm tra IP hiện tại và cập nhật whitelist.

Ứng dụng thực tế của proxy Octoparse

Octoparse được dùng cho nhiều bài toán thu thập dữ liệu công khai. Mỗi bài toán có yêu cầu riêng về proxy.

Theo dõi giá trên sàn thương mại điện tử

Thu thập giá sản phẩm định kỳ để so sánh với đối thủ. Cần IP đúng quốc gia của sàn, tốc độ vừa phải. Bài proxy theo dõi giá đối thủ phân tích chi tiết.

Thu thập đánh giá sản phẩm

Lấy đánh giá để phân tích cảm nhận khách hàng. Trang đánh giá thường có phân trang dài, cần xoay IP khi số trang lớn. Xem bài proxy cào review sản phẩm.

Lập danh sách doanh nghiệp

Thu thập thông tin công khai của doanh nghiệp từ danh bạ, bản đồ. Cần tuân thủ quy định về dữ liệu cá nhân, chỉ lấy thông tin doanh nghiệp công khai. Bài proxy scraping Google Maps có hướng dẫn liên quan.

Ước tính lưu lượng và chi phí proxy Octoparse

Trước khi chạy task lớn, ước tính lưu lượng giúp anh em chọn đúng loại proxy Octoparse và tránh hết tín dụng giữa chừng. Phép tính đơn giản dưới đây áp dụng cho proxy tích hợp tính theo GB.

Ví dụ tính toán

Giả sử cần thu thập 20.000 trang sản phẩm. Theo ước tính của Octoparse, khoảng 500 trang mỗi GB. Lưu lượng dự kiến là 20.000 chia 500, tức khoảng 40 GB. Với mức 3 USD mỗi GB, chi phí proxy tích hợp khoảng 120 USD cho một lần chạy. Nếu chạy hằng tuần, con số nhân lên theo số lần chạy.

Con số 500 trang mỗi GB chỉ là ước tính. Trang nhiều hình ảnh, video, script nặng có thể tốn nhiều hơn. Chạy thử 100 trang, xem lưu lượng thực tế rồi nhân lên sẽ chính xác hơn.

So sánh với proxy riêng

Proxy riêng thường tính theo IP và thời gian, không giới hạn hoặc giới hạn băng thông cao. Với khối lượng lớn chạy Local, chi phí proxy riêng thường dễ dự đoán hơn. Đổi lại, anh em phải tự quản lý whitelist và kiểm tra proxy. Bài nên mua proxy theo port hay băng thông so sánh hai cách tính phí.

Giảm lưu lượng không cần thiết

Trong cài đặt task, tắt tải hình ảnh nếu không cần ảnh. Chỉ mở các trang cần thiết, tránh để task bấm vào liên kết thừa. Mỗi trang không cần mở là một khoản lưu lượng tiết kiệm được.

Lập lịch chạy định kỳ với proxy Octoparse

Nhiều bài toán như theo dõi giá cần chạy task định kỳ. Octoparse có tính năng lập lịch, nhưng cấu hình proxy phải phù hợp với nơi chạy.

Lịch chạy trên Cloud

Lịch chạy Cloud dùng proxy tích hợp hoặc Public IP Pool. Không dùng được proxy riêng. Khi lập lịch hằng ngày với proxy tích hợp, nhớ tính lưu lượng cho cả tháng và nạp đủ tín dụng.

Lịch chạy trên máy cá nhân

Lịch chạy Local dùng được proxy riêng. Máy phải bật và kết nối mạng đúng giờ chạy. IP mạng nhà phải còn nằm trong whitelist của nhà cung cấp proxy. Nếu modem đổi IP qua đêm, lịch sáng hôm sau sẽ lỗi. Cân nhắc dùng mạng có IP tĩnh hoặc chạy trên máy chủ có IP cố định.

Giữ cấu hình ổn định giữa các lần chạy

Dữ liệu định kỳ chỉ so sánh được khi điều kiện thu thập giống nhau. Giữ nguyên quốc gia của proxy, User-Agent, cách xoay IP giữa các lần chạy. Ghi lại mọi thay đổi cấu hình để khi số liệu biến động bất thường, anh em biết do thị trường hay do cách thu thập.

Làm sạch dữ liệu sau khi cào bằng proxy Octoparse

Dữ liệu thu được qua nhiều IP có thể có trùng lặp hoặc sai lệch theo khu vực. Bước làm sạch giúp dữ liệu dùng được cho phân tích.

Loại bỏ trùng lặp

Khi task chạy lại sau lỗi hoặc xoay IP giữa chừng, một số trang có thể được thu thập hai lần. Dùng cột định danh như mã sản phẩm hoặc đường dẫn để loại trùng trước khi đưa dữ liệu vào báo cáo.

Kiểm tra giá trị theo khu vực

Website có thể hiển thị giá, đơn vị tiền tệ, ngôn ngữ khác nhau theo IP. Nếu proxy xoay qua nhiều quốc gia, dữ liệu sẽ lẫn nhiều đơn vị tiền. Cố định quốc gia của proxy hoặc thêm cột ghi khu vực để xử lý khi phân tích.

Đánh dấu dòng lỗi

Các dòng trống, dòng có nội dung trang chặn hay CAPTCHA cần được đánh dấu và thu thập lại. Tỉ lệ dòng lỗi cao là dấu hiệu proxy hoặc tốc độ cần điều chỉnh.

So sánh Octoparse với tự viết code khi dùng proxy

Octoparse phù hợp với người không biết lập trình. Với nhóm có lập trình viên, viết code bằng Scrapy hoặc thư viện khác linh hoạt hơn về proxy.

Ưu điểm của Octoparse

Dựng task nhanh bằng giao diện, có Cloud, có lập lịch, có proxy tích hợp. Người làm marketing, bán hàng tự làm được mà không cần nhờ lập trình viên.

Ưu điểm của tự viết code

Code cho phép dùng proxy có tài khoản và mật khẩu, SOCKS5, xoay proxy theo logic riêng, thử lại khi lỗi, kiểm soát tốc độ chi tiết. Bài proxy Scrapy và cài đặt Python proxy từ thư viện Request là điểm khởi đầu tốt.

Khi nào nên chuyển

Khi chi phí proxy tích hợp tăng cao, khi cần định dạng proxy Octoparse không hỗ trợ, hoặc khi task phức tạp vượt khả năng giao diện kéo thả, đó là lúc cân nhắc chuyển sang code.

Quy trình dựng task Octoparse có proxy từ đầu đến cuối

Với người mới, gom các bước rời rạc ở trên thành một quy trình giúp làm đúng ngay lần đầu. Quy trình dưới áp dụng cho trường hợp chạy Local với proxy riêng.

Bước 1: Chuẩn bị proxy

Mua proxy HTTP, bật xác thực whitelist, thêm IP máy tính chạy Octoparse vào danh sách cho phép. Thử từng proxy bằng curl để xác nhận whitelist đã có hiệu lực trên máy này.

Bước 2: Dựng task với IP đúng khu vực

Mở giao diện chỉnh sửa, bấm Proxy ở góc trên bên phải, chọn proxy riêng cùng quốc gia với website đích. Dựng task trên trang hiển thị đúng như người dùng ở khu vực đó thấy.

Bước 3: Bật xoay proxy khi chạy

Vào Task Settings, thẻ Anti-blocking, bật Access website via proxies, chọn Use my own proxies, dán danh sách IP:port. Đặt thời gian chờ giữa các bước và User-Agent phù hợp.

Bước 4: Chạy thử với số lượng nhỏ

Chạy task với vài chục trang, kiểm tra dữ liệu có đủ trường, có dòng lỗi hay trang chặn không. Điều chỉnh tốc độ và proxy trước khi chạy khối lượng lớn.

Bước 5: Chạy chính thức và theo dõi

Chạy toàn bộ, theo dõi tỉ lệ lỗi theo thời gian. Nếu lỗi tăng dần ở nửa sau, website đang bắt đầu chặn, giảm tốc độ hoặc tăng số proxy trong danh sách xoay.

Câu hỏi thường gặp về proxy Octoparse

Octoparse có miễn phí không

Octoparse có gói miễn phí và các gói trả phí, xem trang giá Octoparse để biết giới hạn hiện hành. Proxy tích hợp tính phí riêng theo tín dụng.

Dùng proxy SOCKS5 trong Octoparse được không

Theo tài liệu, proxy riêng chỉ hỗ trợ HTTP. Proxy ProxyVN có cả HTTP và SOCKS5 trên cùng IP, anh em dùng cổng HTTP cho Octoparse.

Bao lâu nên xoay IP một lần

Tuỳ website. Bắt đầu với chu kỳ vài phút, theo dõi tỉ lệ lỗi. Nếu lỗi nhiều, rút ngắn chu kỳ hoặc giảm tốc độ. Nếu website liên kết phiên với IP, chu kỳ quá ngắn có thể làm hỏng phiên.

Có cần proxy khi chỉ cào vài trăm trang không

Với vài trăm trang của website không có chống bot mạnh, chạy với tốc độ thấp thường không cần proxy. Proxy cần khi khối lượng lớn, khi website giới hạn theo IP, hoặc khi cần dữ liệu đúng khu vực. Thử chạy không proxy với tốc độ chậm trước, nếu bị chặn mới bật proxy.

Proxy 4G có dùng được cho Octoparse không

Được, nếu proxy 4G có cổng HTTP và hỗ trợ whitelist IP. Proxy 4G hợp với website chặn IP datacenter mạnh. Nhược điểm là tốc độ thấp hơn datacenter, nên giảm số luồng chạy đồng thời.

Proxy tích hợp có chọn được nhà mạng Việt Nam không

Proxy tích hợp cho chọn quốc gia, khu vực nhưng không nêu lựa chọn theo nhà mạng. Nếu cần IP Viettel, VNPT, FPT cụ thể, dùng proxy riêng chạy Local.

Xem thêm:

• Thuật ngữ proxy: 80 khái niệm cần biết xếp theo A–Z

Tổng kết

Proxy Octoparse có ba nơi đặt: đăng nhập, chỉnh sửa task và chạy task. Proxy tích hợp chạy được cả Local lẫn Cloud nhưng tính theo GB. Proxy riêng chỉ HTTP dạng IP:port, cần whitelist và chỉ chạy Local. Cần proxy Việt Nam ổn định cho Octoparse, liên hệ Proxy.vn - Nhà cung cấp dịch vụ proxy chất lượng hàng đầu Việt Nam để cấu hình proxy Octoparse.