Proxy HTTP3 QUIC Là Gì? Khác Gì HTTP2 Khi Scraping
Proxy HTTP3 QUIC là chủ đề anh em làm thu thập dữ liệu bắt đầu gặp khi ngày càng nhiều website bật giao thức web thế hệ mới. Giao thức này chạy trên UDP thay vì TCP, trong khi phần lớn proxy quen thuộc chỉ chuyển được TCP. Bài viết của ProxyVN giải thích HTTP3 và QUIC là gì, khác HTTP2 ở đâu, proxy xử lý ra sao và ảnh hưởng tới scraping.
Proxy HTTP3 QUIC là gì
Để hiểu loại proxy này, anh em cần nắm hai khái niệm đi cùng nhau là QUIC và HTTP3.
QUIC
Theo bài phân tích của Decodo về TCP và UDP, QUIC là giao thức truyền tải bảo mật, có kết nối, được xây dựng trên UDP. Nó kết hợp thiết lập kết nối độ trễ thấp, nhiều luồng ghép kênh, truyền tin cậy và kiểm soát tắc nghẽn.
Nói cách khác, QUIC tự làm những việc mà trước đây TCP đảm nhận, nhưng chạy trên nền UDP. Đặc tả gốc của giao thức là RFC 9000.
HTTP3
HTTP3 là phiên bản HTTP chạy trên QUIC. Decodo gọi QUIC là nền tảng truyền tải của HTTP3, và nhận định web hiện đại đang ngày càng dùng các giao thức truyền tải tin cậy trên UDP thay vì chỉ dựa vào TCP.
Chi tiết kỹ thuật nằm trong đặc tả HTTP3 là RFC 9114.
Proxy cho HTTP3
Proxy HTTP3 QUIC là máy chủ trung gian có khả năng chuyển tiếp lưu lượng QUIC giữa máy khách và trang đích. Điều này đòi hỏi proxy xử lý được UDP, hoặc hỗ trợ cơ chế đường hầm UDP chuyên dụng.
Decodo định nghĩa proxy UDP là máy trung gian chuyển tiếp các gói dữ liệu UDP giữa máy khách và máy chủ mà không cần thiết lập kết nối. Proxy cho HTTP3 là một trường hợp ứng dụng của loại này.
Cùng cổng 443, khác giao thức
Decodo lưu ý cả TCP lẫn UDP đều dùng được cổng 443. TCP phục vụ HTTPS với HTTP1.1 và HTTP2, còn UDP phục vụ HTTP3 qua QUIC.
Vì vậy một tường lửa hay proxy cho phép cổng 443 của TCP chưa chắc cho phép cổng 443 của UDP. Đây là nguồn gốc của nhiều hiểu lầm.
Nắm ba khái niệm này giúp anh em hiểu vì sao proxy thông thường và HTTP3 không tự nhiên đi cùng nhau.
So sánh ba thế hệ HTTP để hiểu proxy HTTP3 QUIC
Mỗi phiên bản HTTP giải quyết một hạn chế của phiên bản trước. Hiểu tiến trình này thì anh em biết HTTP3 mang lại gì.
Ba thế hệ giao thức web
HTTP1.1
Theo bài viết của IPRoyal, HTTP là giao thức yêu cầu và phản hồi không lưu trạng thái, trình duyệt gửi yêu cầu và máy chủ trả về nội dung.
Ở phiên bản 1.1, mỗi kết nối TCP xử lý một yêu cầu tại một thời điểm. Trình duyệt phải mở nhiều kết nối song song để tải nhanh, tốn tài nguyên ở cả hai phía.
HTTP2
HTTP2 cho phép nhiều luồng yêu cầu và phản hồi chạy đồng thời trên một kết nối TCP. Tiêu đề được nén và dữ liệu truyền ở dạng nhị phân.
Hạn chế còn lại nằm ở tầng TCP. Decodo nêu hiện tượng nghẽn đầu hàng là một nhược điểm của TCP: khi một gói tin bị mất, mọi dữ liệu phía sau phải chờ gói đó được gửi lại. Vì các luồng của HTTP2 chung một kết nối TCP, một gói mất làm chậm tất cả.
HTTP3
HTTP3 chuyển sang QUIC. Mỗi luồng được xử lý độc lập ở tầng truyền tải, nên gói mất của luồng này không chặn luồng khác.
QUIC cũng gộp bước bắt tay kết nối với bước thiết lập mã hóa, giảm số lượt trao đổi trước khi dữ liệu đầu tiên được gửi.
Bảng so sánh
Tiêu chí |
HTTP1.1 |
HTTP2 |
HTTP3 |
|---|---|---|---|
Giao thức truyền tải |
TCP |
TCP |
QUIC trên UDP |
Ghép kênh |
Không |
Có, trên một kết nối TCP |
Có, luồng độc lập |
Nghẽn đầu hàng |
Ở tầng ứng dụng |
Ở tầng TCP |
Không ở tầng truyền tải |
Mã hóa |
Tùy chọn |
Thực tế luôn dùng TLS |
Bắt buộc, tích hợp sẵn |
Thiết lập kết nối |
Bắt tay TCP rồi TLS |
Bắt tay TCP rồi TLS |
Gộp trong QUIC |
Đổi mạng giữa chừng |
Mất kết nối |
Mất kết nối |
Giữ được nhờ mã định danh kết nối |
TCP và UDP ở tầng dưới
Decodo so sánh hai giao thức nền như sau:
Tiêu chí |
TCP |
UDP |
|---|---|---|
Thiết lập kết nối |
Bắt tay ba bước |
Không kết nối |
Độ tin cậy |
Bảo đảm giao hàng |
Nỗ lực tối đa, không bảo đảm |
Thứ tự |
Luồng byte có thứ tự |
Không bảo đảm thứ tự |
Kích thước tiêu đề |
20 tới 60 byte |
Cố định 8 byte |
Kiểm soát tắc nghẽn |
Có sẵn |
Không có sẵn |
QUIC lấy sự gọn nhẹ của UDP rồi tự bổ sung độ tin cậy, thứ tự và kiểm soát tắc nghẽn ở tầng trên.
Bảng so sánh cho thấy HTTP3 chủ yếu cải thiện hiệu năng trên mạng không ổn định, không thay đổi nội dung mà máy chủ trả về.
Vì sao proxy thông thường không phải proxy HTTP3 QUIC
Đây là phần quan trọng nhất với người dùng proxy. Phần lớn proxy trên thị trường không chuyển được QUIC.
Vì sao proxy HTTP thường không chuyển được QUIC
Proxy HTTP chỉ chuyển TCP
Decodo nêu rõ proxy HTTP chỉ hỗ trợ lưu lượng TCP, tức các giao thức web truyền thống. Khi máy khách muốn truy cập trang HTTPS qua proxy HTTP, nó gửi lệnh CONNECT để mở một đường hầm TCP.
Đường hầm đó không mang được gói UDP. HTTP3 vì thế không đi qua được.
Bài proxy tunnel là gì giải thích cơ chế CONNECT chi tiết.
SOCKS5 và UDP
Decodo cho biết proxy SOCKS5 hỗ trợ cả TCP lẫn UDP, có lệnh UDP ASSOCIATE để xử lý gói dữ liệu. Về lý thuyết, QUIC có thể đi qua SOCKS5.
Thực tế có hai trở ngại. Thứ nhất, nhiều nhà cung cấp chỉ bật phần TCP của SOCKS5. Thứ hai, không phải máy khách nào cũng gửi QUIC qua SOCKS5 dù proxy có hỗ trợ.
Decodo khuyên kiểm tra kỹ giao thức mà dịch vụ proxy hỗ trợ thay vì mặc định rằng TCP và UDP hoạt động giống nhau. Bài SOCKS5 proxy là gì có thêm nền tảng.
Đường hầm UDP qua HTTP
Cộng đồng tiêu chuẩn đã định nghĩa cách mở đường hầm UDP qua proxy HTTP trong RFC 9298, thường được gọi theo tên nhóm công tác là MASQUE. Với cơ chế này, proxy nói HTTP3 với máy khách và chuyển tiếp gói UDP tới đích.
Đây là hướng đi dài hạn, hiện mới có ở một số dịch vụ lớn và chưa phổ biến ở proxy thương mại.
Điều gì xảy ra khi anh em bật proxy
Khi trình duyệt được cấu hình dùng proxy HTTP hoặc SOCKS, nó thường không dùng QUIC cho các kết nối đi qua proxy. Trình duyệt quay về HTTP2 hoặc HTTP1.1 trên TCP.
Bật proxy không làm trang web hỏng. Trình duyệt và máy chủ tự thương lượng xuống phiên bản HTTP mà đường truyền cho phép.
Cơ chế lùi phiên bản này là lý do phần lớn người dùng proxy không nhận ra mình đang không dùng HTTP3.
Bảng tóm tắt
Loại proxy |
Chuyển được QUIC |
Ghi chú |
|---|---|---|
HTTP, HTTPS thông thường |
Không |
Chỉ mở đường hầm TCP |
SOCKS5 chỉ TCP |
Không |
Phổ biến ở gói giá rẻ |
SOCKS5 có UDP |
Có thể |
Phụ thuộc cả máy khách |
Proxy hỗ trợ đường hầm UDP theo RFC 9298 |
Có |
Chưa phổ biến |
Hiểu rõ giới hạn này giúp anh em đặt đúng câu hỏi cho nhà cung cấp.
Ảnh hưởng của proxy HTTP3 QUIC tới công việc scraping
Câu hỏi thực tế là công cụ thu thập có cần HTTP3 hay không. Câu trả lời trong phần lớn trường hợp là chưa.
Nội dung không phụ thuộc phiên bản HTTP
Máy chủ trả về cùng một trang dù anh em dùng HTTP1.1, HTTP2 hay HTTP3. Phiên bản chỉ thay đổi cách dữ liệu được vận chuyển.
Website bật HTTP3 vẫn giữ HTTP2 và HTTP1.1 để phục vụ máy khách cũ và mạng chặn UDP. Công cụ thu thập dùng HTTP2 vẫn lấy được đầy đủ dữ liệu.
Tính nhất quán của dấu vân tay
Hệ thống chống bot đánh giá cách máy khách bắt tay và gửi yêu cầu. Một máy khách tự nhận là Chrome nhưng chỉ nói HTTP1.1 là dấu hiệu bất thường, vì Chrome thật luôn dùng HTTP2 trở lên.
Điểm cần lưu ý là sự nhất quán. Chrome thật khi đi qua proxy cũng dùng HTTP2, nên công cụ dùng HTTP2 qua proxy không lệch khỏi hành vi của trình duyệt.
Bài TLS fingerprint JA3 và proxy phân tích kỹ lớp nhận diện này.
Khi nào HTTP3 thật sự cần
- Kiểm thử hiệu năng: đo tốc độ tải của chính website mình trên HTTP3.
- Nghiên cứu giao thức: phân tích hành vi của máy chủ với QUIC.
- Ứng dụng thời gian thực: một số dịch vụ chỉ cung cấp qua QUIC.
- Mô phỏng người dùng di động: nơi QUIC có lợi thế khi đổi mạng.
Hiệu năng qua proxy
Lợi thế về độ trễ của QUIC rõ nhất trên mạng mất gói nhiều. Trung tâm dữ liệu có đường truyền ổn định, nên chênh lệch giữa HTTP2 và HTTP3 ở đó nhỏ.
Thêm một chặng proxy còn làm lợi thế bắt tay nhanh giảm đi. Với scraping khối lượng lớn, chất lượng IP và nhịp gửi yêu cầu ảnh hưởng tới kết quả nhiều hơn phiên bản HTTP.
Chặn UDP ở hạ tầng
Nhiều mạng doanh nghiệp và nhà cung cấp máy chủ giới hạn UDP ra ngoài. Công cụ ép dùng HTTP3 trong môi trường đó sẽ hết thời gian chờ trước khi lùi về TCP, làm chậm cả quy trình.
Nhìn chung, HTTP2 qua proxy tốt vẫn là cấu hình hợp lý nhất cho thu thập dữ liệu hiện nay.
Cách kiểm tra website và proxy HTTP3 QUIC bằng dòng lệnh
Anh em có thể tự xác minh trang đích dùng giao thức gì và proxy của mình xử lý ra sao. Các lệnh dưới đây là ví dụ triển khai chung của ProxyVN.
Kiểm tra giao thức bằng dòng lệnh
Xem website có quảng bá HTTP3 không
Máy chủ báo hỗ trợ HTTP3 qua tiêu đề phản hồi alt-svc:
curl -sI https://www.cloudflare.com | grep -i alt-svcKết quả có chuỗi h3 nghĩa là máy chủ sẵn sàng phục vụ HTTP3 trên cổng được nêu.
Ép dùng từng phiên bản
curl -sI --http1.1 https://www.cloudflare.com -o /dev/null -w "%{http_version}\n"
curl -sI --http2 https://www.cloudflare.com -o /dev/null -w "%{http_version}\n"
curl -sI --http3 https://www.cloudflare.com -o /dev/null -w "%{http_version}\n"Biến http_version in ra phiên bản thực tế đã dùng. Tùy chọn http3 chỉ có trên bản curl được biên dịch kèm thư viện QUIC, anh em kiểm tra bằng lệnh curl --version và tìm chữ HTTP3 trong danh sách tính năng.
Kiểm tra qua proxy
curl -s -x http://USERNAME:PASSWORD@proxy-host:PORT https://www.cloudflare.com -o /dev/null -w "%{http_version}\n"Qua proxy HTTP, kết quả thường là 2. Điều đó xác nhận kết nối đã lùi về HTTP2 trong đường hầm TCP.
Kiểm tra trong trình duyệt
Mở công cụ dành cho nhà phát triển, vào thẻ Network và bật cột Protocol. Giá trị h3 là HTTP3, h2 là HTTP2.
Anh em so sánh cột này khi tắt và bật proxy để thấy sự thay đổi.
Dùng HTTP2 trong Python qua proxy
Thư viện requests chỉ nói HTTP1.1. Để công cụ dùng HTTP2, anh em có thể dùng thư viện httpx:
pip install "httpx[http2]"import httpx
PROXY = "http://USERNAME:PASSWORD@proxy-host:PORT"
with httpx.Client(http2=True, proxy=PROXY, timeout=30) as client:
r = client.get("https://www.cloudflare.com")
print(r.http_version, r.status_code)Thuộc tính http_version cho biết phiên bản đã thương lượng được. Tên tham số proxy thay đổi giữa các phiên bản của thư viện, anh em đối chiếu tài liệu của bản đang cài.
Vài lệnh trên đủ để anh em biết chắc công cụ của mình đang nói giao thức gì với trang đích.
Lựa chọn giao thức cho công cụ khi chưa có proxy HTTP3 QUIC
Dựa trên các phần trước, ProxyVN gợi ý cách chọn theo từng loại công cụ.
Chọn giao thức cho công cụ thu thập
Trình duyệt tự động
Playwright, Puppeteer và Selenium điều khiển trình duyệt thật. Trình duyệt tự thương lượng giao thức phù hợp với đường truyền, anh em không cần can thiệp.
Bài proxy Playwright hướng dẫn cách gắn proxy cho nhóm công cụ này.
Máy khách HTTP trong mã
- Trang ít bảo vệ: HTTP1.1 qua thư viện thông dụng là đủ.
- Trang có kiểm tra dấu vân tay: dùng máy khách hỗ trợ HTTP2 và mô phỏng được cách bắt tay của trình duyệt.
- Cần HTTP3: dùng thư viện chuyên dụng và proxy có hỗ trợ UDP, chấp nhận độ phức tạp cao hơn.
Kết nối thời gian thực
IPRoyal mô tả WebSocket là kết nối hai chiều, giữ mở sau bước bắt tay HTTP ban đầu, chạy trên TCP. Proxy HTTP và SOCKS5 thông thường chuyển được loại kết nối này.
Với ứng dụng dùng UDP thuần như cuộc gọi và trò chơi, anh em cần SOCKS5 có hỗ trợ UDP. Decodo liệt kê giao tiếp thời gian thực, phát trực tiếp và trò chơi trực tuyến là các ứng dụng điển hình của UDP.
Bảng gợi ý
Nhu cầu |
Giao thức nên dùng |
Loại proxy |
|---|---|---|
Thu thập trang tĩnh |
HTTP1.1 hoặc HTTP2 |
HTTP hoặc SOCKS5 |
Thu thập trang có chống bot |
HTTP2 kèm dấu vân tay hợp lý |
HTTP, ưu tiên IP dân cư |
Luồng dữ liệu thời gian thực |
WebSocket |
HTTP hoặc SOCKS5, IP tĩnh |
Cuộc gọi, trò chơi |
UDP |
SOCKS5 có UDP |
Kiểm thử HTTP3 |
HTTP3 |
Proxy hỗ trợ UDP hoặc đi thẳng |
Đầu tư đúng chỗ
Thời gian bỏ ra để ép công cụ dùng HTTP3 thường mang lại ít hơn so với việc cải thiện chất lượng IP, xoay phiên hợp lý và xử lý lỗi. Bài web scraping proxy là gì trình bày các yếu tố này.
Chọn giao thức theo nhu cầu thật giúp anh em tránh làm phức tạp hệ thống không cần thiết.
Câu hỏi nên đặt cho nhà cung cấp về proxy HTTP3 QUIC
Khi nhu cầu về UDP hoặc HTTP3 là thật, anh em cần hỏi rõ trước khi mua.
Về giao thức
- SOCKS5 của gói có bật UDP không, hay chỉ TCP.
- Có giới hạn cổng UDP nào không.
- Có hỗ trợ đường hầm UDP qua HTTP không.
- Proxy dân cư có hỗ trợ UDP không, vì nhiều mạng dân cư chỉ chuyển TCP.
Về hiệu năng
Decodo lưu ý proxy UDP phù hợp nhất với tác vụ độ trễ thấp, nơi mất một ít dữ liệu vẫn chấp nhận được, và dữ liệu có thể bị mất hoặc đến sai thứ tự. Anh em hỏi về độ trễ và tỷ lệ mất gói của tuyến.
Về chi phí
Trang của Decodo niêm yết proxy datacenter hỗ trợ UDP ở mức khoảng 0,57 USD mỗi gigabyte với gói 50 GB, và proxy ISP ở mức 3 USD mỗi gigabyte. Anh em dùng làm mốc tham khảo khi so sánh.
Tự kiểm tra sau khi mua
Đừng chỉ tin vào bảng tính năng. Anh em thử gửi một truy vấn UDP đơn giản qua SOCKS5, hoặc chạy ứng dụng cần UDP và xem lưu lượng có đi qua proxy không.
Bài cách sử dụng SOCKS5 proxy có hướng dẫn kiểm tra.
Đặt đúng câu hỏi giúp anh em không mua gói chỉ hỗ trợ TCP cho một nhu cầu cần UDP.
Anh em cần IP để thử nghiệm song song HTTP/3 và HTTP/2 có thể mua proxy giá rẻ tại ProxyVN, chọn nhà mạng, số ngày dùng và giao thức ngay trên một màn hình.
Xu hướng và tiêu chí chọn dịch vụ liên quan tới proxy HTTP3 QUIC
HTTP3 đang được triển khai rộng dần ở phía máy chủ và trình duyệt. Hạ tầng proxy sẽ theo sau.
Điều đang thay đổi
- Ngày càng nhiều website bật HTTP3 song song với HTTP2.
- Hệ thống chống bot bắt đầu quan sát cả dấu vân tay của QUIC.
- Tiêu chuẩn đường hầm UDP qua HTTP đã hoàn thiện, mở đường cho proxy thế hệ mới.
Điều chưa thay đổi
Website vẫn phải phục vụ HTTP2 và HTTP1.1 trong nhiều năm tới vì còn rất nhiều mạng chặn UDP. Công cụ dùng TCP qua proxy tiếp tục hoạt động bình thường.
Tiêu chí chọn dịch vụ ở thời điểm hiện tại
- IP sạch và ổn định: yếu tố quyết định tỷ lệ thành công.
- Hỗ trợ HTTP, HTTPS và SOCKS5.
- Nêu rõ có hỗ trợ UDP hay không.
- Kiểm soát phiên linh hoạt.
- Đường truyền có độ trễ thấp.
- Hỗ trợ kỹ thuật liên tục.
ProxyVN cung cấp proxy với kết nối ổn định, hạn chế mất kết nối giữa chừng. Đội kỹ thuật hỗ trợ 24/24 và sẽ tư vấn rõ về giao thức mà từng gói hỗ trợ.
Tóm lại, HTTP3 chạy trên QUIC và UDP, còn proxy HTTP thông thường chỉ chuyển TCP nên kết nối tự lùi về HTTP2. Với scraping, HTTP2 qua IP tốt vẫn là lựa chọn hợp lý. Cần tư vấn về giao thức, liên hệ Proxy.vn - Nhà cung cấp dịch vụ proxy chất lượng hàng đầu Việt Nam trước khi chọn proxy HTTP3 QUIC.
