Web unblocker và scraping API: Khác gì proxy thường
Web unblocker là nhóm dịch vụ gộp proxy xoay, trình duyệt tự động và cơ chế xử lý thử thách thành một điểm truy cập duy nhất, người dùng gửi địa chỉ trang cần lấy và nhận về nội dung đã tải xong, thường chỉ trả tiền cho yêu cầu thành công. Cùng nhóm này còn có scraping API và scraping browser. Với đội thu thập dữ liệu, câu hỏi thường gặp là nên tự dùng proxy hay thuê dịch vụ mở khoá. Bài này ProxyVN giải thích cách các dịch vụ này hoạt động, khác gì proxy thường, so sánh chi phí, tốc độ, quyền kiểm soát, khi nào nên dùng loại nào và các giới hạn pháp lý cần nhớ. Xem thêm dịch vụ tại ProxyVN.
Web unblocker là gì
Proxy thường chỉ làm một việc: chuyển yêu cầu của bạn qua một IP khác. Mọi việc còn lại như chọn header, giữ cookie, chạy JavaScript, xử lý trang thử thách, thử lại khi lỗi đều do phía bạn tự làm. Khi trang đích có hệ thống chống bot mạnh, phần việc phía bạn trở nên rất lớn.
Web unblocker đẩy phần việc đó sang nhà cung cấp. Bạn gửi yêu cầu tới một địa chỉ, dịch vụ tự chọn IP, dựng dấu vân tay trình duyệt phù hợp, chạy JavaScript nếu cần, thử lại với IP khác khi bị chặn, và trả về trang khi đã tải thành công.
Bên trong một dịch vụ mở khoá
Bên trong một dịch vụ mở khoá
- Lớp IP: kho proxy dân cư, di động, datacenter, chọn theo quốc gia và theo lịch sử thành công với từng trang.
- Lớp dấu vân tay: header, thứ tự header, dấu vân tay TLS và HTTP/2 giống trình duyệt thật.
- Lớp trình duyệt: khi trang cần JavaScript, dịch vụ dùng trình duyệt không giao diện để tải.
- Lớp xử lý lỗi: nhận diện trang chặn, mã 403, 429, thử lại với cấu hình khác.
- Lớp tính tiền: đếm yêu cầu thành công, bỏ qua yêu cầu thất bại.
Vì sao trang đích chặn bot
Trang web chặn thu thập tự động vì lo ngại sao chép nội dung, tải máy chủ, gian lận giá. Cloudflare giải thích các kiểu thu thập nội dung và cách trang web phòng vệ trong bài What is content scraping. Hiểu lý do giúp thu thập có trách nhiệm hơn.
Ba loại dịch vụ web unblocker
Ba loại dịch vụ mở khoá
Proxy mở khoá
Dạng giống proxy nhất. Bạn trỏ công cụ thu thập tới một địa chỉ proxy như bình thường, dịch vụ xử lý mọi thứ phía sau. Ưu điểm là gần như không phải sửa mã cũ, chỉ đổi địa chỉ proxy. Thường yêu cầu tắt kiểm tra chứng chỉ hoặc cài chứng chỉ của dịch vụ, vì dịch vụ cần giải mã để chạy JavaScript và xử lý trang.
Scraping API
Bạn gọi một API, truyền địa chỉ trang và tham số như quốc gia, có chạy JavaScript không, nhận về HTML hoặc dữ liệu đã trích xuất dạng JSON. Một số API chuyên cho từng loại trang như kết quả tìm kiếm, sản phẩm thương mại điện tử. Dạng API cho kết quả tìm kiếm được nói riêng trong bài SERP API.
Scraping browser
Dịch vụ chạy trình duyệt trên máy chủ của họ, bạn điều khiển từ xa bằng Playwright hoặc Puppeteer qua giao thức điều khiển trình duyệt. Phù hợp khi cần bấm, cuộn, điền biểu mẫu trên trang. Dịch vụ lo IP, dấu vân tay và một phần thử thách. Cách dùng Playwright với proxy thường có trong bài proxy Playwright.
Bảng so sánh nhanh
Loại |
Cách dùng |
Phù hợp |
|---|---|---|
Proxy mở khoá |
Đổi địa chỉ proxy trong công cụ cũ |
Dự án có sẵn mã, cần tăng tỷ lệ thành công |
Scraping API |
Gọi API, nhận HTML hoặc JSON |
Lấy trang tĩnh, kết quả tìm kiếm, sản phẩm |
Scraping browser |
Điều khiển trình duyệt từ xa |
Trang cần tương tác nhiều bước |
Web unblocker khác gì proxy thường
Tiêu chí |
Proxy thường |
Web unblocker |
|---|---|---|
Việc dịch vụ làm |
Chuyển yêu cầu qua IP khác |
Chọn IP, dấu vân tay, JavaScript, thử lại |
Tính tiền |
Theo IP, theo cổng hoặc theo dung lượng |
Theo yêu cầu thành công hoặc dung lượng thành công |
Quyền kiểm soát |
Toàn quyền với header, phiên, tốc độ |
Ít, dịch vụ quyết định phần lớn |
Độ trễ |
Thấp, phụ thuộc IP |
Cao hơn, có thể vài giây tới vài chục giây mỗi yêu cầu |
Giữ phiên đăng nhập |
Dễ, dùng IP tĩnh hoặc sticky |
Hạn chế, tuỳ dịch vụ |
Công sức kỹ thuật |
Cao với trang khó |
Thấp |
Độ trễ
Mỗi yêu cầu qua dịch vụ mở khoá có thể mất nhiều giây vì dịch vụ phải dựng trình duyệt, thử nhiều lần. Với dự án cần hàng triệu trang mỗi ngày, độ trễ này ảnh hưởng tới thiết kế hệ thống, phải chạy song song nhiều hơn.
Quyền kiểm soát
Proxy thường cho phép bạn quyết định mọi chi tiết, từ thứ tự header tới thời gian chờ. Dịch vụ mở khoá che giấu các chi tiết này. Khi kết quả sai, khó biết nguyên nhân nằm ở đâu.
Giữ phiên
Tác vụ cần đăng nhập rồi thao tác nhiều bước cần IP ổn định suốt phiên. Proxy IP tĩnh hoặc sticky session làm việc này dễ dàng. Dịch vụ mở khoá tối ưu cho từng yêu cầu độc lập, giữ phiên phức tạp hơn. Khái niệm giữ phiên có trong bài sticky session proxy là gì.
Chi phí web unblocker so với tự dùng proxy
So sánh chi phí tự làm và thuê dịch vụ
Cách tính tiền của dịch vụ mở khoá
Phổ biến nhất là tính theo số yêu cầu thành công, mức giá khác nhau theo độ khó của trang đích và việc có chạy JavaScript hay không. Một số dịch vụ tính theo dung lượng của phản hồi thành công. Yêu cầu thất bại thường không tính tiền.
Cách tính chi phí khi tự dùng proxy
Chi phí tự làm gồm tiền proxy, máy chủ chạy công cụ thu thập, thời gian kỹ sư xây và bảo trì hệ thống vượt chặn, và chi phí cho yêu cầu thất bại vẫn tốn băng thông. Cách tính chi phí proxy chi tiết có trong bài cách tính chi phí mua proxy.
Ví dụ tính nhanh
Giả sử cần lấy 100 nghìn trang mỗi tháng từ một trang có chống bot trung bình. Tự làm với proxy dân cư tính theo dung lượng, mỗi trang khoảng 1 MB kể cả tài nguyên, tỷ lệ thành công 70 phần trăm, cần khoảng 143 nghìn lượt tải, tương đương khoảng 140 GB, cộng thêm thời gian kỹ sư. Dịch vụ mở khoá tính theo 100 nghìn yêu cầu thành công, không tốn công vượt chặn. Với trang dễ, tự làm rẻ hơn nhiều. Với trang khó, dịch vụ mở khoá có thể rẻ hơn khi tính cả công sức.
Điểm hoà vốn
Khối lượng càng lớn và trang càng dễ, tự làm càng có lợi. Khối lượng nhỏ, trang khó, đội ít người, dịch vụ mở khoá có lợi hơn. Mỗi dự án cần tính riêng với số liệu thật sau một đợt thử.
Chi phí ẩn
Dịch vụ mở khoá có thể tính thêm cho chạy JavaScript, cho quốc gia đặc biệt, cho trang thuộc nhóm khó. Đọc kỹ bảng giá. Tự làm có chi phí ẩn là thời gian sửa hệ thống mỗi khi trang đích đổi cơ chế chống bot.
Khi nào nên dùng web unblocker
Chọn giải pháp theo tình huống
Nên dùng dịch vụ mở khoá khi
- Trang đích có chống bot mạnh, tự làm tỷ lệ thành công thấp.
- Đội không có kỹ sư chuyên về vượt chặn, cần kết quả nhanh.
- Khối lượng vừa phải, chi phí theo yêu cầu chấp nhận được.
- Cần lấy dữ liệu từ nhiều trang khác nhau, mỗi trang một cơ chế chống bot.
Nên tự dùng proxy khi
- Trang đích dễ hoặc chống bot nhẹ, proxy thường đạt tỷ lệ thành công cao.
- Khối lượng rất lớn, chi phí theo yêu cầu quá cao.
- Cần giữ phiên đăng nhập, thao tác nhiều bước ổn định.
- Cần kiểm soát chi tiết để đảm bảo dữ liệu chính xác.
- Đội có kỹ sư và muốn làm chủ hạ tầng.
Phân tích tự xây hay thuê nói chung có trong bài nên tự build hay thuê proxy.
Kết hợp cả hai
Nhiều đội dùng proxy thường cho phần lớn trang dễ, chỉ chuyển sang dịch vụ mở khoá cho số ít trang khó hoặc khi proxy thường thất bại. Cách này tối ưu chi phí mà vẫn đảm bảo tỷ lệ thành công.
Đo tỷ lệ thành công khi so sánh web unblocker
Quyết định nên dựa trên số liệu đo trên chính trang đích, không dựa vào quảng cáo.
Định nghĩa thành công rõ ràng
Yêu cầu thành công là nhận được trang chứa dữ liệu cần lấy, không phải chỉ nhận mã 200. Trang chặn đôi khi trả mã 200 kèm nội dung thử thách. Kiểm tra sự có mặt của phần tử dữ liệu trong HTML.
Thử song song
Chạy cùng một danh sách địa chỉ qua proxy thường và qua dịch vụ mở khoá, so tỷ lệ thành công, thời gian phản hồi, chi phí trên mỗi trang thành công. Cách đo có trong bài proxy success rate.
Kiểm tra độ chính xác dữ liệu
Dịch vụ mở khoá đôi khi trả về trang ở quốc gia khác, ngôn ngữ khác hoặc phiên bản di động. Kiểm tra dữ liệu trích xuất có đúng với yêu cầu không, nhất là giá và tình trạng hàng.
Theo dõi theo thời gian
Tỷ lệ thành công thay đổi khi trang đích cập nhật chống bot. Theo dõi hằng ngày, đặt cảnh báo khi tỷ lệ giảm đột ngột.
Hiểu cơ chế chặn để dùng web unblocker hiệu quả
Dù thuê dịch vụ, hiểu cơ chế chặn giúp gửi yêu cầu hợp lý và đọc kết quả đúng.
Giới hạn tốc độ
Trang đích trả mã 429 khi một IP gửi quá nhiều yêu cầu. Ý nghĩa mã này có trong trang 429 Too Many Requests của MDN. Dịch vụ mở khoá xoay IP để tránh, nhưng gửi dồn dập vẫn có thể bị chặn ở mức tài khoản hoặc dải IP.
Dấu vân tay
Hệ thống chống bot so sánh dấu vân tay TLS, HTTP/2, thứ tự header với trình duyệt thật. Thư viện HTTP mặc định dễ bị nhận ra. Đây là phần dịch vụ mở khoá làm thay, tìm hiểu thêm trong bài TLS fingerprint JA3 và proxy.
Uy tín IP
IP datacenter dễ bị chặn hơn IP dân cư. IP đã từng gửi lưu lượng xấu có điểm uy tín thấp. Dịch vụ mở khoá chọn IP theo lịch sử thành công. Khái niệm uy tín IP có trong bài IP reputation là gì.
Trang thử thách
Trang thử thách JavaScript, hộp kiểm xác minh, câu đố hình ảnh là lớp cuối. Dịch vụ mở khoá xử lý một phần, nhưng không phải mọi loại. Các hệ thống phổ biến như DataDome được nói trong bài DataDome là gì.
Thu thập dữ liệu có trách nhiệm với web unblocker
Dịch vụ mở khoá giúp vượt rào kỹ thuật, nhưng không thay đổi trách nhiệm pháp lý của người thu thập.
Tôn trọng robots.txt
Tệp robots.txt cho biết chủ trang muốn trình thu thập tránh phần nào. Chuẩn này được mô tả trong RFC 9309. Tuân thủ robots.txt là thông lệ tốt, đặc biệt với thu thập quy mô lớn.
Chỉ lấy dữ liệu công khai
Không dùng dịch vụ mở khoá để truy cập phần cần đăng nhập của người khác, vượt tường phí, lấy dữ liệu cá nhân. Thu thập dữ liệu công khai như giá sản phẩm, thông tin doanh nghiệp công bố có rủi ro thấp hơn nhiều.
Điều khoản sử dụng
Nhiều trang cấm thu thập tự động trong điều khoản sử dụng. Vi phạm có thể dẫn tới tranh chấp. Với dự án thương mại, nên tham khảo ý kiến pháp lý trước khi thu thập trên quy mô lớn.
Dữ liệu cá nhân
Nếu dữ liệu thu thập chứa thông tin cá nhân, phải tuân thủ quy định bảo vệ dữ liệu cá nhân. Chỉ lưu phần cần thiết, bảo vệ dữ liệu, có mục đích rõ ràng.
Không làm quá tải trang đích
Dịch vụ mở khoá cho phép gửi rất nhiều yêu cầu song song. Giới hạn tốc độ ở mức hợp lý để không gây ảnh hưởng tới người dùng thật của trang đích.
Tự xây hệ thống gần giống web unblocker
Đội có kỹ sư có thể tự xây phiên bản đơn giản cho các trang thường gặp, dùng proxy thường làm nền.
Kho proxy và luân chuyển
Dùng kho proxy dân cư hoặc proxy xoay, luân chuyển IP theo yêu cầu hoặc theo phiên. Theo dõi tỷ lệ thành công của từng IP, loại IP kém. Cách chia proxy có trong bài proxy pool là gì.
Trình duyệt không giao diện khi cần
Chỉ dùng trình duyệt cho trang bắt buộc JavaScript, còn lại dùng yêu cầu HTTP trực tiếp để nhanh và rẻ. Trình duyệt không giao diện có nhiều dấu hiệu cần xử lý, xem bài headless browser.
Thử lại thông minh
Khi gặp chặn, đổi IP, chờ một khoảng ngẫu nhiên, thử lại với số lần giới hạn. Ghi lại nguyên nhân thất bại để cải thiện.
Khung thu thập có sẵn
Các khung như Scrapy có sẵn cơ chế thử lại, giới hạn tốc độ, middleware cho proxy. Xây trên khung có sẵn tiết kiệm nhiều thời gian. Cách gắn proxy vào Scrapy có trong bài proxy Scrapy.
Proxy nền ổn định
Hệ thống tự xây chỉ tốt khi proxy nền ổn định. Với dự án nhắm trang Việt Nam, proxy Việt Nam cho kết quả đúng vùng và ít bị nghi ngờ hơn IP nước ngoài. Nếu cần proxy Việt Nam ổn định làm nền cho hệ thống thu thập, anh em có thể mua proxy tại ProxyVN, mỗi proxy hỗ trợ cả HTTP và SOCKS5.
Tích hợp web unblocker vào hệ thống có sẵn
Với proxy mở khoá
Đổi địa chỉ proxy trong công cụ thu thập sang địa chỉ dịch vụ, thêm tài khoản. Xử lý chứng chỉ theo hướng dẫn của dịch vụ. Chạy thử với một nhóm nhỏ địa chỉ trước khi chuyển toàn bộ.
Với scraping API
Viết một hàm bọc gọi API, nhận HTML, đưa vào bộ trích xuất hiện có. Xử lý mã lỗi của API, thời gian chờ dài hơn bình thường.
Với scraping browser
Đổi lệnh khởi chạy trình duyệt cục bộ thành lệnh kết nối tới trình duyệt từ xa. Mã điều khiển trang giữ nguyên. Chú ý độ trễ mỗi thao tác cao hơn chạy cục bộ.
Chuyển đổi dự phòng
Thiết kế hệ thống để dễ đổi giữa proxy thường và dịch vụ mở khoá theo từng trang đích. Khi một bên gặp sự cố, chuyển sang bên kia. Ý tưởng chuyển đổi dự phòng có trong bài proxy failover.
Tiêu chí chọn nhà cung cấp web unblocker
Thị trường có nhiều nhà cung cấp dịch vụ mở khoá với mức giá và chất lượng khác nhau. Một số tiêu chí giúp so sánh công bằng.
Dùng thử trên trang đích thật
Đa số nhà cung cấp có gói dùng thử. Dùng gói này chạy đúng danh sách địa chỉ của dự án, không dựa vào số liệu quảng cáo chung chung. Một dịch vụ mạnh với trang thương mại điện tử nước ngoài chưa chắc mạnh với trang Việt Nam.
Độ phủ quốc gia và vùng
Nếu cần dữ liệu theo tỉnh, thành ở Việt Nam, kiểm tra dịch vụ có IP Việt Nam đủ nhiều và có chọn được theo vùng không. Nhiều dịch vụ chỉ cho chọn quốc gia.
Minh bạch về tính tiền
Đọc kỹ cách đếm yêu cầu thành công, phụ phí cho JavaScript, giới hạn số yêu cầu song song, chính sách khi trang trả về nội dung chặn với mã 200. Hỏi rõ trước khi trả tiền cho gói lớn.
Nhật ký và hỗ trợ kỹ thuật
Dịch vụ tốt cung cấp nhật ký từng yêu cầu, mã lỗi rõ ràng, đội hỗ trợ phản hồi nhanh khi tỷ lệ thành công giảm. Thiếu nhật ký thì khi dữ liệu sai rất khó tìm nguyên nhân.
Nguồn gốc IP
Hỏi nhà cung cấp lấy IP dân cư từ đâu, người dùng có đồng ý chia sẻ kết nối không. IP có nguồn gốc không rõ ràng có thể kéo theo rủi ro pháp lý và đạo đức. Hiện tượng chiếm dụng băng thông người dùng được nói trong bài proxyjacking là gì.
Sai lầm thường gặp khi dùng web unblocker
Gửi mọi yêu cầu qua dịch vụ đắt nhất
Nhiều đội chuyển toàn bộ sang dịch vụ mở khoá, kể cả với trang dễ mà proxy thường đã đạt tỷ lệ thành công cao. Chi phí tăng mạnh mà không cần thiết. Phân loại trang đích theo độ khó trước khi chọn đường đi.
Bật JavaScript cho mọi trang
Chạy JavaScript tốn thời gian và thường tính thêm phí. Nhiều trang có dữ liệu ngay trong HTML ban đầu hoặc trong một API JSON mà trang gọi. Kiểm tra bằng công cụ của nhà phát triển trong trình duyệt trước khi bật.
Không kiểm tra nội dung trả về
Coi mã 200 là thành công mà không kiểm tra nội dung dẫn tới dữ liệu rỗng hoặc sai lọt vào cơ sở dữ liệu. Luôn có bước kiểm tra phần tử dữ liệu bắt buộc.
Gửi song song quá mức
Dịch vụ cho phép nhiều yêu cầu song song, nhưng trang đích vẫn chịu tải. Gửi quá nhiều làm trang chặn mạnh hơn, tỷ lệ thành công giảm cho cả dự án.
Phụ thuộc vào duy nhất một nhà cung cấp
Khi nhà cung cấp gặp sự cố hoặc đổi giá, cả hệ thống dừng. Thiết kế lớp trung gian để đổi nhà cung cấp hoặc quay về proxy thường dễ dàng.
Web unblocker trong bối cảnh thu thập dữ liệu ở Việt Nam
Trang thương mại điện tử trong nước
Các sàn thương mại điện tử lớn ở Việt Nam có cơ chế chống thu thập ngày càng chặt. IP nước ngoài dễ bị nghi ngờ hơn IP trong nước. Dù dùng dịch vụ mở khoá hay tự làm, ưu tiên IP Việt Nam. Kinh nghiệm thu thập dữ liệu sàn có trong bài cào dữ liệu Shopee.
Trang báo, trang tin
Trang tin thường ít chống bot, proxy thường là đủ. Chú ý bản quyền nội dung khi lưu trữ và sử dụng lại bài viết.
Trang dịch vụ công
Trang của cơ quan nhà nước có thể giới hạn truy cập từ nước ngoài và thường có hạ tầng yếu hơn. Thu thập chậm, tôn trọng giới hạn, chỉ lấy thông tin công khai.
Hiển thị nội dung theo vùng
Một số trang hiển thị giá, khuyến mãi khác nhau giữa Hà Nội và TP.HCM. Dịch vụ mở khoá chỉ cho chọn quốc gia sẽ không lấy được khác biệt này, cần proxy theo vùng.
Câu hỏi thường gặp về web unblocker
Web unblocker có phải là proxy không
Có thể dùng như proxy, nhưng bản chất là dịch vụ trọn gói gồm proxy, trình duyệt và xử lý thử thách. Proxy thường chỉ đổi IP.
Dịch vụ mở khoá có vượt được mọi trang không
Không. Một số trang có chống bot rất mạnh hoặc yêu cầu đăng nhập, dịch vụ mở khoá cũng không đạt tỷ lệ thành công cao. Thử trên trang đích trước khi cam kết.
Có nên dùng dịch vụ mở khoá cho tài khoản đăng nhập không
Thường không phù hợp. Tác vụ đăng nhập cần IP ổn định, dấu vân tay nhất quán. Proxy IP tĩnh kết hợp trình duyệt riêng phù hợp hơn.
Tự dùng proxy có rẻ hơn không
Với trang dễ và khối lượng lớn, tự dùng proxy rẻ hơn nhiều. Với trang khó, tính cả công kỹ sư, dịch vụ mở khoá có thể rẻ hơn. Cần đo trên dự án thật.
Dữ liệu trả về từ dịch vụ mở khoá có chính xác không
Phần lớn chính xác, nhưng có thể sai quốc gia, sai ngôn ngữ hoặc trả về phiên bản trang khác. Luôn kiểm tra mẫu dữ liệu trước khi dùng cho quyết định kinh doanh.
Tổng kết
Web unblocker cùng scraping API và scraping browser gộp proxy xoay, dấu vân tay trình duyệt, chạy JavaScript và thử lại thành một dịch vụ, thường tính tiền theo yêu cầu thành công. So với proxy thường, dịch vụ giảm công sức kỹ thuật với trang khó nhưng tăng độ trễ, giảm quyền kiểm soát và khó giữ phiên. Đo tỷ lệ thành công và chi phí trên mỗi trang thành công trên chính trang đích trước khi chọn, kết hợp cả hai khi cần, và luôn thu thập có trách nhiệm. Cần proxy Việt Nam ổn định làm nền cho hệ thống thu thập, anh em liên hệ Proxy.vn - Nhà cung cấp dịch vụ proxy chất lượng hàng đầu Việt Nam để được tư vấn.
