HTTP/2 fingerprint là gì? Dấu vân tay giao thức và proxy
HTTP2 fingerprint, hay dấu vân tay HTTP/2, là chuỗi đặc trưng được tạo từ cách một chương trình mở và sử dụng kết nối HTTP/2: các giá trị trong khung SETTINGS, mức tăng cửa sổ trong WINDOW_UPDATE, cách khai báo ưu tiên và thứ tự các pseudo-header. Mỗi trình duyệt, mỗi thư viện HTTP có một cách làm hơi khác nhau, nên máy chủ có thể dựa vào đó để đoán phía kết nối là Chrome, Firefox hay một đoạn mã tự động. Bài này ProxyVN giải thích dấu vân tay HTTP/2 được tạo thế nào, định dạng phổ biến kiểu Akamai, vì sao thư viện HTTP khác trình duyệt thật, proxy có làm thay đổi dấu vân tay không và cách tự kiểm tra. Xem thêm dịch vụ tại ProxyVN.
Tổng quan về HTTP2 fingerprint
HTTP/2 là phiên bản giao thức HTTP dùng khung nhị phân và ghép nhiều luồng trên một kết nối. Đặc tả hiện hành là RFC 9113. Đặc tả cho phép phía khách tự chọn nhiều tham số, như kích thước bảng nén header, số luồng tối đa, kích thước cửa sổ. Chính sự tự do này tạo ra khác biệt giữa các phần mềm.
Năm 2017, nhóm nghiên cứu của Akamai công bố cách nhận diện phía khách dựa trên các tham số HTTP/2 trong tài liệu Passive Fingerprinting of HTTP/2 Clients tại Black Hat Europe. Từ đó, các hệ thống chống bot đưa dấu vân tay HTTP/2 vào bộ tín hiệu đánh giá.
Các khung mở đầu kết nối HTTP/2
Dấu vân tay HTTP/2 nằm ở đâu trong chuỗi tín hiệu
Máy chủ có thể nhìn phía khách qua nhiều lớp:
- Lớp TCP: kích thước cửa sổ, TTL, tuỳ chọn TCP, gợi ý hệ điều hành.
- Lớp TLS: danh sách bộ mã hoá, phần mở rộng, dấu vân tay kiểu JA3, JA4.
- Lớp HTTP/2: SETTINGS, WINDOW_UPDATE, PRIORITY, thứ tự pseudo-header.
- Lớp HTTP: User-Agent, thứ tự và giá trị header.
- Lớp JavaScript: canvas, phông chữ, các thuộc tính của trình duyệt.
Dấu vân tay TLS được nói trong bài TLS fingerprint JA3 và proxy, dấu vân tay lớp TCP trong bài TCP fingerprint. Bài này tập trung lớp HTTP/2.
Vì sao máy chủ quan tâm
Một yêu cầu tự xưng là Chrome qua User-Agent nhưng mở kết nối HTTP/2 theo kiểu của thư viện Python là dấu hiệu không nhất quán. Hệ thống chống bot dùng các điểm không nhất quán này để chấm điểm rủi ro.
Các thành phần của HTTP2 fingerprint
Khung SETTINGS
Ngay sau lời chào kết nối, phía khách gửi khung SETTINGS với các tham số như HEADER_TABLE_SIZE, ENABLE_PUSH, MAX_CONCURRENT_STREAMS, INITIAL_WINDOW_SIZE, MAX_FRAME_SIZE, MAX_HEADER_LIST_SIZE. Phần mềm nào gửi tham số nào, theo thứ tự nào, với giá trị bao nhiêu là đặc trưng riêng. Có trình duyệt bỏ qua một số tham số, có thư viện gửi đủ cả sáu.
Khung WINDOW_UPDATE
Sau SETTINGS, nhiều phía khách gửi WINDOW_UPDATE để mở rộng cửa sổ kiểm soát luồng của cả kết nối. Mức tăng này khác nhau giữa các trình duyệt, một số thư viện không gửi.
Khung PRIORITY
HTTP/2 ban đầu có cơ chế ưu tiên luồng. Một số trình duyệt gửi loạt khung PRIORITY dựng cây ưu tiên ngay khi mở kết nối, một số gắn thông tin ưu tiên vào khung HEADERS, một số không dùng. Cơ chế ưu tiên cũ đã bị khuyến nghị bỏ trong RFC 9113, nhưng hành vi cũ vẫn còn trong nhiều phần mềm và vẫn là tín hiệu phân biệt.
Thứ tự pseudo-header
Mỗi yêu cầu HTTP/2 có bốn pseudo-header: :method, :authority, :scheme, :path. Đặc tả không quy định thứ tự, nên mỗi phần mềm sắp một kiểu. Chrome, Firefox, Safari có thứ tự khác nhau, thư viện HTTP lại có thứ tự riêng.
Header thường và cách nén
Thứ tự các header thường như user-agent, accept, accept-language và cách dùng bảng nén HPACK cũng có thể góp vào dấu vân tay mở rộng.
Định dạng HTTP2 fingerprint kiểu Akamai
Chuỗi dấu vân tay kiểu Akamai
Định dạng phổ biến nhất ghép các thành phần thành một chuỗi, phân cách bằng dấu gạch đứng:
SETTINGS|WINDOW_UPDATE|PRIORITY|PSEUDO_HEADER_ORDERPhần SETTINGS
Liệt kê các cặp mã tham số và giá trị theo đúng thứ tự gửi, ví dụ 1:65536;2:0;4:6291456;6:262144. Mã 1 là HEADER_TABLE_SIZE, 2 là ENABLE_PUSH, 4 là INITIAL_WINDOW_SIZE, 6 là MAX_HEADER_LIST_SIZE.
Phần WINDOW_UPDATE
Một con số là mức tăng cửa sổ, hoặc số 0 nếu không gửi.
Phần PRIORITY
Danh sách các khung PRIORITY được gửi lúc mở kết nối, hoặc số 0 nếu không có.
Phần thứ tự pseudo-header
Viết tắt bằng chữ cái đầu: m cho method, a cho authority, s cho scheme, p cho path. Ví dụ m,a,s,p hoặc m,p,a,s.
Băm thành mã ngắn
Chuỗi đầy đủ khá dài nên thường được băm thành mã ngắn để lưu và so sánh. Các trang kiểm tra hiển thị cả chuỗi gốc và mã băm.
HTTP2 fingerprint của trình duyệt và thư viện HTTP
Trình duyệt thật và thư viện HTTP
Trình duyệt thật
Chrome, Edge, Brave và các trình duyệt dựa trên Chromium có dấu vân tay HTTP/2 gần giống nhau vì dùng chung ngăn xếp mạng. Firefox và Safari mỗi bên một kiểu. Dấu vân tay thay đổi theo phiên bản lớn, nên hệ thống chống bot liên tục cập nhật danh sách.
Thư viện HTTP
Thư viện như requests của Python không dùng HTTP/2. httpx, aiohttp với HTTP/2, thư viện của Go, Node.js, curl đều có dấu vân tay riêng. Khi một yêu cầu dùng User-Agent của Chrome nhưng dấu vân tay HTTP/2 của thư viện Go, sự không khớp rất dễ thấy.
Trình duyệt không giao diện
Chrome điều khiển bằng Puppeteer, Playwright có dấu vân tay HTTP/2 giống Chrome thật vì dùng cùng ngăn xếp mạng. Điểm yếu của trình duyệt tự động nằm ở lớp JavaScript nhiều hơn. Chi tiết có trong bài headless browser.
Thư viện giả lập trình duyệt
Một số thư viện được viết để giả lập dấu vân tay TLS và HTTP/2 của trình duyệt phổ biến. Chúng cho thấy dấu vân tay có thể bắt chước, nhưng phải giữ đồng bộ với mọi lớp khác, kể cả User-Agent và phiên bản trình duyệt tương ứng.
Proxy có làm thay đổi HTTP2 fingerprint không
Đây là câu hỏi quan trọng nhất với người dùng proxy.
Proxy CONNECT giữ nguyên dấu vân tay
Proxy HTTP dùng CONNECT
Khi truy cập trang HTTPS qua proxy HTTP, phía khách gửi lệnh CONNECT, proxy mở đường hầm TCP tới máy chủ. Mọi thứ bên trong đường hầm, gồm bắt tay TLS và các khung HTTP/2, đi xuyên qua mà proxy không đọc được. Dấu vân tay TLS và HTTP/2 mà máy chủ thấy là của phần mềm phía khách, không phải của proxy.
Proxy SOCKS5
SOCKS5 cũng chỉ chuyển luồng byte, không can thiệp vào TLS hay HTTP/2. Dấu vân tay giữ nguyên như khi đi thẳng. Cách dùng SOCKS5 có trong bài cách sử dụng SOCKS5 proxy.
Proxy giải mã HTTPS
Proxy có giải mã, như proxy kiểm tra của công ty hay một số dịch vụ mở khoá, kết thúc kết nối TLS của phía khách và mở kết nối mới tới máy chủ. Khi đó máy chủ thấy dấu vân tay của proxy. Đây là trường hợp duy nhất proxy thay đổi dấu vân tay, và nó có thể làm dấu vân tay tệ hơn nếu proxy dùng thư viện lạ.
Proxy thay đổi lớp nào
Proxy thông thường chỉ thay IP và một phần tín hiệu lớp TCP như TTL, kích thước cửa sổ, vì kết nối TCP tới máy chủ là do proxy mở. Lớp TLS, HTTP/2, HTTP, JavaScript vẫn là của phía khách. Mối quan hệ giữa proxy và các lớp mạng có trong bài proxy hoạt động ở tầng nào.
Hệ quả thực tế
Đổi proxy không cứu được một công cụ có dấu vân tay HTTP/2 bất thường. Nếu bị chặn vì dấu vân tay, đổi IP bao nhiêu lần cũng vẫn bị chặn. Ngược lại, IP sạch kết hợp dấu vân tay giống trình duyệt thật mới cho kết quả tốt.
Cách kiểm tra HTTP2 fingerprint
Trang kiểm tra trực tuyến
Trang tls.peet.ws trả về chi tiết dấu vân tay TLS và HTTP/2 của kết nối hiện tại, gồm khung SETTINGS, WINDOW_UPDATE, PRIORITY, thứ tự pseudo-header và chuỗi kiểu Akamai. BrowserLeaks HTTP/2 cũng hiển thị dấu vân tay và so sánh với trình duyệt phổ biến.
So sánh trình duyệt và công cụ
Mở trang kiểm tra bằng trình duyệt thật, ghi lại chuỗi. Gọi cùng trang bằng công cụ tự động qua đúng proxy đang dùng, so sánh. Khác nhau ở phần nào cho biết cần chỉnh lớp nào.
Kiểm tra qua proxy và không qua proxy
Gọi trang kiểm tra hai lần, có và không có proxy. Với proxy CONNECT hay SOCKS5, chuỗi HTTP/2 giống nhau, chỉ IP khác. Nếu chuỗi khác, proxy đang giải mã HTTPS.
Đọc kết hợp với User-Agent
Đặt chuỗi dấu vân tay cạnh User-Agent mà công cụ gửi. Dấu vân tay của Firefox đi với User-Agent của Chrome là mâu thuẫn rõ ràng. Ý nghĩa của User-Agent có trong bài User-Agent là gì.
HTTP2 fingerprint và lỗi bị chặn
Trang Access Denied
Hệ thống chống bot trả trang từ chối truy cập khi tổng điểm rủi ro cao. Dấu vân tay HTTP/2 lạ là một trong các yếu tố. Thông báo này được giải thích trong bài Access Denied you don't have permission to access.
Lỗi giao thức HTTP/2
Lỗi kiểu ERR_HTTP2_PROTOCOL_ERROR thường do máy chủ, proxy trung gian hoặc phần mềm bảo mật xử lý sai khung HTTP/2, không phải do bị nhận diện. Nguyên nhân và cách sửa có trong bài ERR_HTTP2_PROTOCOL_ERROR.
Không phải mọi chặn đều do dấu vân tay
IP có uy tín thấp, tốc độ yêu cầu quá cao, hành vi lặp lại máy móc đều dẫn tới bị chặn. Đánh giá từng yếu tố trước khi kết luận nguyên nhân là dấu vân tay.
Ứng dụng phòng vệ của HTTP2 fingerprint
Dấu vân tay HTTP/2 không chỉ là rào cản, nó còn là công cụ bảo vệ cho chủ website.
Phát hiện bot giả trình duyệt
Chủ trang có thể ghi dấu vân tay HTTP/2 vào nhật ký, so sánh với User-Agent. Lưu lượng tự xưng là trình duyệt nhưng dấu vân tay của thư viện có thể bị giới hạn tốc độ hoặc yêu cầu xác minh.
Chống tấn công dồn dập
Công cụ tấn công từ chối dịch vụ thường dùng thư viện với dấu vân tay đặc trưng. Nhận diện được dấu vân tay giúp chặn nhanh mà ít ảnh hưởng người dùng thật.
Kết hợp nhiều tín hiệu
Không nên chặn chỉ dựa vào dấu vân tay HTTP/2, vì trình duyệt ít phổ biến, ứng dụng hợp lệ có thể có dấu vân tay lạ. Kết hợp với IP, hành vi, các lớp dấu vân tay khác để giảm chặn nhầm.
HTTP2 fingerprint với người dùng proxy hợp lệ
Người dùng trình duyệt thật
Người duyệt web, quản lý tài khoản bằng trình duyệt thật qua proxy gần như không phải lo về dấu vân tay HTTP/2, vì nó đã là của trình duyệt thật. Phần cần chú ý là IP sạch, múi giờ, WebRTC.
Trình duyệt chống phát hiện
Các trình duyệt quản lý nhiều hồ sơ dựa trên Chromium giữ dấu vân tay HTTP/2 của Chromium. Điểm cần kiểm tra là phiên bản lõi Chromium khớp với User-Agent khai báo.
Đội thu thập dữ liệu
Đội dùng thư viện HTTP để thu thập dữ liệu công khai cần biết dấu vân tay của công cụ. Với trang không chống bot, không cần làm gì. Với trang chống bot mạnh, dùng trình duyệt tự động hoặc dịch vụ mở khoá, xem bài web unblocker.
Chọn proxy
Proxy không đổi dấu vân tay, nhưng IP sạch vẫn quan trọng. Nếu cần proxy Việt Nam sạch, ổn định cho trình duyệt hoặc công cụ, anh em có thể mua proxy tại ProxyVN, mỗi proxy hỗ trợ cả HTTP và SOCKS5.
Ví dụ đọc một chuỗi HTTP2 fingerprint
Đọc thử một chuỗi giúp hiểu rõ từng phần mang thông tin gì. Giả sử trang kiểm tra trả về chuỗi sau cho một trình duyệt dựa trên Chromium:
1:65536;2:0;4:6291456;6:262144|15663105|0|m,a,s,pĐoạn thứ nhất
Phía khách gửi bốn tham số SETTINGS theo thứ tự 1, 2, 4, 6. Bảng nén header 65536 byte, tắt server push, cửa sổ ban đầu cho mỗi luồng 6291456 byte, giới hạn danh sách header 262144 byte. Tham số 3 và 5 không được gửi, nghĩa là dùng giá trị mặc định.
Đoạn thứ hai
Khung WINDOW_UPDATE tăng cửa sổ của cả kết nối thêm 15663105 byte. Con số lớn này giúp trình duyệt tải nhiều tài nguyên song song mà không bị nghẽn kiểm soát luồng.
Đoạn thứ ba
Số 0 cho biết không có khung PRIORITY nào được gửi lúc mở kết nối.
Đoạn thứ tư
Thứ tự pseudo-header là method, authority, scheme, path.
So với một thư viện
Một thư viện HTTP/2 thông thường có thể gửi đủ sáu tham số SETTINGS với giá trị mặc định nhỏ hơn nhiều, không gửi WINDOW_UPDATE và sắp pseudo-header theo thứ tự method, path, scheme, authority. Chỉ nhìn chuỗi là thấy khác hẳn trình duyệt, dù User-Agent khai báo giống nhau.
Các con số trong ví dụ chỉ mang tính minh hoạ, giá trị thật thay đổi theo phiên bản trình duyệt. Luôn kiểm tra trực tiếp thay vì dựa vào bảng số liệu cũ.
Quy trình kiểm tra HTTP2 fingerprint cho công cụ tự động
Khi một công cụ bị chặn mà không rõ lý do, kiểm tra dấu vân tay theo trình tự giúp loại trừ từng khả năng.
Bước 1: ghi dấu vân tay chuẩn
Mở trang kiểm tra bằng đúng phiên bản trình duyệt mà công cụ đang giả lập, lưu chuỗi TLS và HTTP/2 làm chuẩn.
Bước 2: ghi dấu vân tay của công cụ
Cho công cụ gọi cùng trang kiểm tra qua đúng proxy dùng thật. Lưu kết quả.
Bước 3: so từng lớp
So lớp TLS trước, rồi HTTP/2, rồi thứ tự header và User-Agent. Khác biệt ở lớp nào thì xử lý lớp đó. Thường lớp TLS và HTTP/2 lệch cùng nhau vì đều do thư viện mạng quyết định.
Bước 4: kiểm tra IP
Dấu vân tay đã khớp mà vẫn bị chặn thì xem lại IP: có trong danh sách đen, có điểm rủi ro cao, có phải IP datacenter bị trang đích hạn chế. Cách kiểm tra có trong bài cách kiểm tra proxy sạch.
Bước 5: kiểm tra hành vi
Tốc độ gửi yêu cầu, thứ tự truy cập trang, việc có tải tài nguyên phụ như ảnh, CSS hay không đều là tín hiệu. Công cụ chỉ tải HTML với tốc độ đều tăm tắp khác hẳn người dùng thật.
Lớp dấu vân tay và tính nhất quán
Hệ thống chống bot ít khi chặn vì một tín hiệu đơn lẻ, mà vì các tín hiệu mâu thuẫn nhau.
Nhất quán giữa các lớp mạng
Dấu vân tay TCP gợi ý Linux, TLS và HTTP/2 của Chrome trên Windows, User-Agent của Safari trên iPhone là một tổ hợp không thể có ở người dùng thật. Mỗi lớp nên kể cùng một câu chuyện về thiết bị và phần mềm.
Nhất quán với IP
IP di động Việt Nam đi với User-Agent điện thoại là tự nhiên. IP datacenter nước ngoài đi với trình duyệt điện thoại tiếng Việt thì ít tự nhiên hơn. Đồng bộ múi giờ và ngôn ngữ với IP, xem bài đồng bộ múi giờ với IP proxy.
Nhất quán theo thời gian
Một hồ sơ hôm nay là Chrome, mai là Firefox, ngày kia lại là Chrome bản cũ hơn là bất thường. Giữ dấu vân tay ổn định cho mỗi hồ sơ, chỉ cập nhật khi trình duyệt cập nhật phiên bản thật.
Lớp JavaScript
Ngoài lớp mạng, trang web còn đọc canvas, WebGL, phông chữ. Các tín hiệu này nằm ngoài phạm vi HTTP/2, xem thêm bài canvas fingerprint.
Hiểu lầm thường gặp về HTTP2 fingerprint
Proxy cao cấp tự sửa dấu vân tay
Proxy dân cư hay proxy di động chỉ cung cấp IP tốt hơn. Chúng không chạm vào TLS và HTTP/2 của phía khách. Muốn dấu vân tay giống trình duyệt, phải xử lý ở phía phần mềm.
Đổi User-Agent là đủ
User-Agent chỉ là một header chữ. Đổi nó mà không đổi thư viện mạng làm mâu thuẫn rõ hơn, vì dấu vân tay HTTP/2 vẫn là của thư viện.
Dấu vân tay là bí mật
Dấu vân tay của trình duyệt phổ biến được công khai trên các trang kiểm tra. Điều làm nên khác biệt là hệ thống chống bot kết hợp nó với dữ liệu lưu lượng lớn để chấm điểm, không phải bản thân chuỗi.
Chỉ bot mới bị ảnh hưởng
Người dùng trình duyệt ít phổ biến, ứng dụng di động tự viết, phần mềm bảo mật giải mã HTTPS cũng có thể có dấu vân tay lạ và bị yêu cầu xác minh nhiều hơn. Đây là lý do hệ thống tốt không chặn chỉ dựa vào một tín hiệu.
HTTP2 fingerprint trong lịch sử phát triển giao thức
Hiểu giao thức thay đổi thế nào giúp đoán dấu vân tay sẽ đi về đâu.
Từ HTTP/1.1 sang HTTP/2
HTTP/1.1 gửi văn bản thuần, phía khách chỉ khác nhau ở thứ tự và giá trị header. HTTP/2 thêm lớp khung nhị phân với nhiều tham số tuỳ chọn, mở ra không gian khác biệt lớn hơn nhiều giữa các phần mềm.
Bỏ server push
Server push từng là tính năng nổi bật của HTTP/2, nay các trình duyệt lớn đã tắt. Giá trị ENABLE_PUSH bằng 0 trong SETTINGS phản ánh thay đổi này. Phần mềm cũ vẫn bật push có dấu vân tay khác trình duyệt hiện đại.
Cơ chế ưu tiên mới
Cơ chế ưu tiên dạng cây của HTTP/2 ban đầu bị thay bằng cơ chế đơn giản hơn dùng header priority. Trình duyệt chuyển dần sang cơ chế mới, nên phần PRIORITY trong dấu vân tay của nhiều trình duyệt đã về 0.
HTTP/3 và QUIC
HTTP/3 chạy trên QUIC thay vì TCP, nên phần lớn tham số chuyển sang lớp QUIC. Proxy HTTP truyền thống dùng CONNECT qua TCP không chuyển được QUIC, nên trình duyệt đi qua proxy thường quay về HTTP/2. Điều này nghĩa là khi dùng proxy, dấu vân tay HTTP/2 vẫn là lớp máy chủ nhìn thấy.
Dấu vân tay sẽ còn thay đổi
Mỗi bản cập nhật lớn của trình duyệt có thể đổi tham số. Công cụ giả lập phải cập nhật theo, nếu không sẽ trông giống một trình duyệt cũ hiếm gặp. Theo dõi dấu vân tay định kỳ là việc cần làm với đội làm tự động hoá nghiêm túc.
Ghi chép dấu vân tay cho cả nhóm
Đội làm tự động hoá nên lưu một bảng nhỏ gồm phiên bản trình duyệt, chuỗi dấu vân tay TLS và HTTP/2 tương ứng, ngày kiểm tra. Khi công cụ đột ngột bị chặn nhiều hơn, so với bảng này để biết trình duyệt thật đã đổi dấu vân tay hay chưa. Bảng cũng giúp thành viên mới hiểu nhanh vì sao cấu hình hiện tại được chọn.
Câu hỏi thường gặp về HTTP2 fingerprint
Đổi proxy có đổi được dấu vân tay HTTP/2 không
Không, với proxy HTTP dùng CONNECT và SOCKS5. Dấu vân tay do phần mềm phía khách tạo ra và đi xuyên đường hầm. Chỉ proxy giải mã HTTPS mới thay đổi nó.
Dấu vân tay HTTP/2 có định danh từng người không
Không. Nó cho biết loại phần mềm và phiên bản, ví dụ Chrome bản gần đây, chứ không định danh một người cụ thể. Hàng triệu người dùng cùng phiên bản Chrome có cùng dấu vân tay.
Tắt HTTP/2 có tránh được bị nhận diện không
Có thể làm mất một tín hiệu, nhưng trình duyệt hiện đại gần như luôn dùng HTTP/2 hoặc HTTP/3. Một phía khách tự xưng Chrome mà chỉ dùng HTTP/1.1 cũng là điểm bất thường.
HTTP/3 có dấu vân tay không
Có. HTTP/3 chạy trên QUIC, cũng có tham số riêng có thể dùng làm dấu vân tay. Lĩnh vực này đang được nghiên cứu thêm.
Dấu vân tay HTTP/2 và JA3 khác nhau thế nào
JA3 lấy từ lời chào TLS, xảy ra trước. Dấu vân tay HTTP/2 lấy từ các khung sau khi TLS đã thiết lập. Hai lớp độc lập, hệ thống chống bot thường dùng cả hai.
Tổng kết
HTTP2 fingerprint được tạo từ khung SETTINGS, WINDOW_UPDATE, PRIORITY và thứ tự pseudo-header, thường biểu diễn theo định dạng kiểu Akamai, giúp máy chủ phân biệt trình duyệt thật với thư viện HTTP. Proxy HTTP dùng CONNECT và SOCKS5 không thay đổi dấu vân tay này, chỉ proxy giải mã HTTPS mới thay. Kiểm tra bằng tls.peet.ws hay BrowserLeaks, so sánh với trình duyệt thật và User-Agent, giữ mọi lớp nhất quán. Cần proxy Việt Nam sạch cho trình duyệt và công cụ, anh em liên hệ Proxy.vn - Nhà cung cấp dịch vụ proxy chất lượng hàng đầu Việt Nam để được tư vấn.
