Splash proxy tách tuyến API và tuyến render trang

Splash proxy có hai tuyến cần theo dõi là client gọi API và renderer tải website. Gateway gắn ở một tuyến chưa chứng minh tuyến còn lại hoạt động, nên phải đối chiếu log theo nơi request phát sinh. ProxyVN hướng dẫn anh em dựng ví dụ nhỏ, kiểm đầu vào và đối chiếu từng lớp trước khi mở rộng tác vụ.

Splash proxy và phạm vi triển khai

Splash được điều khiển qua HTTP API và có render.html để trả HTML sau render. Tuyến client gọi Splash và tuyến Splash tải website là hai đường mạng khác nhau. Đặt proxy cho Requests ở máy gọi API chỉ thay đường đầu tiên.

Tham số proxy gửi tới render endpoint mới yêu cầu renderer dùng gateway cho tài nguyên đích theo khả năng của Splash. Cần log riêng tại Splash, proxy và origin để biết request đi qua đâu.

Splash sử dụng engine riêng và có giới hạn tương thích với website JavaScript hiện đại. Trước khi đưa vào workflow dài hạn, thử tính năng JavaScript cần thiết trên trang lab, kiểm image và dependency đang dùng, rồi mới quyết định phù hợp.

Anh em có thể đối chiếu chữ ký API và tùy chọn trong tài liệu chính thức của công cụ. Phần ví dụ dưới là cách triển khai minh họa cho lab; tài liệu API không thay thế kết quả chạy trên một bộ phiên bản cụ thể.

Splash proxy chuẩn bị môi trường và dữ liệu

Dùng một instance Splash đã được nhóm quản lý, giới hạn truy cập API. Chuẩn bị origin lab có script đổi text của #result sau tải. Không mở một renderer nhận URL tùy ý ra Internet. Ví dụ chỉ gọi dịch vụ đã có sẵn, không tự triển khai container trên máy người dùng.

Một phép thử hữu ích bắt đầu bằng đầu vào có thể kiểm soát. Anh em nên dùng một hostname lab, một đường dẫn trả nội dung cố định và một mã nhận diện cho từng lượt chạy. Khi kết quả khác kỳ vọng, ba thông tin này giúp tìm đúng dòng log thay vì đoán nguyên nhân từ thông báo cuối cùng.

Tạo một thư mục thử riêng, giữ mã nguồn và lockfile cùng nhau. Ghi phiên bản hệ điều hành, runtime, package và backend TLS nếu có. Lần chạy hôm nay và lần chạy sau có thể dùng cùng mã nhưng khác dependency; thiếu hồ sơ phiên bản sẽ làm phép so sánh khó tái lập.

Địa chỉ trong ví dụ là biến cấu hình, không phải dịch vụ đã được cấp. Anh em cần điền endpoint được phép sử dụng và gateway có thật trong môi trường của mình. Không dùng địa chỉ minh họa để đánh giá tình trạng hoạt động của một sản phẩm.

Chọn một dữ liệu mẫu nhỏ đủ bao phủ tình huống bình thường và một tình huống lỗi. Với API, đó có thể là một object hợp lệ và một object thiếu trường. Với HTML, đó là hai record, trong đó một record thiếu giá. Với browser, đó là một trang có trạng thái ban đầu và trạng thái sau thao tác.

Giữ một bản dữ liệu gốc trước khi chuẩn hóa. Thời điểm tải, URL cuối và loại nội dung là metadata của nguồn; chúng không nên bị trộn vào trường nghiệp vụ. Cấu trúc này giúp nhận ra khi response thực tế là trang đăng nhập hoặc trang lỗi dù mã HTTP vẫn thành công.

Đặt tiêu chí đạt trước khi chạy. Một request hoàn tất chưa đủ nếu nhiệm vụ là trích hai record, giữ cookie độc lập hoặc tải một artifact mới. Ghi rõ số record mong đợi, trường bắt buộc và dấu hiệu tuyến mạng tương ứng để kết luận dựa trên điều kiện đã định.

Môi trường thử nên có phạm vi cấu hình nhỏ. Cấp biến môi trường cho tiến trình hoặc lệnh cần dùng, tránh sửa proxy toàn máy khi đang kiểm một thư viện. Các ứng dụng khác có thể dùng cấu hình hệ thống và tạo request ngoài phạm vi phép thử.

Nếu tác vụ cần thông tin xác thực, dùng tài khoản lab có thời hạn và quyền vừa đủ. Tên biến có thể xuất hiện trong mã nguồn; giá trị bí mật không nên nằm trong file bài viết. Trước khi chụp log hoặc gửi hỗ trợ, kiểm cả URL vì userinfo và query cũng có thể chứa credential.

Chuẩn bị môi trường

Splash proxy ví dụ tối thiểu

Ví dụ bắt đầu từ một tác vụ nhỏ để anh em nhìn rõ ranh giới của công cụ. Các biến môi trường cần được cấp ở máy thử; tên file fixture phải tồn tại trước khi chạy. Kết quả mong đợi là điều kiện để tự kiểm, chưa phải số liệu đã đo trên một gateway thương mại.

import os
import requests
 
with requests.Session() as control:
    control.trust_env = False
    response = control.post(
        os.environ["SPLASH_URL"].rstrip("/") + "/render.html",
        json={"url": os.environ["LAB_URL"],
              "wait": 1.0,
              "proxy": os.environ["PROXY_URL"]},
        timeout=30)
    response.raise_for_status()
    html = response.text
    print("bytes", len(response.content))
    print("has_result", 'id="result"' in html)

wait=1.0 chỉ là thông số ví dụ, không phải điều kiện nghiệp vụ đã sẵn sàng. Kiểm text thực của result hoặc thiết kế Lua script chờ điều kiện theo tài liệu nếu trang yêu cầu. Có node result chưa chứng minh script đã cập nhật nội dung.

control.trust_env=False giúp ca gọi API không nhận proxy từ env một cách ngầm định. Khi hạ tầng bắt buộc proxy ở đường điều khiển, cấu hình riêng và ghi thành một lớp khác. Đừng dùng cùng một URL proxy rồi coi hai đường là một.

Ảnh screenshot, HAR hoặc HTML render có thể chứa token và dữ liệu phiên. Chỉ lưu artifact của ứng dụng lab, che thông tin trước khi chia sẻ. Lỗi render nên được phân biệt với lỗi gọi API và lỗi proxy tới origin.

Splash proxy quản lý dữ liệu và trạng thái

Một bài test trình duyệt có cả tuyến điều khiển và tuyến dữ liệu. Runner gửi lệnh tạo phiên, điều hướng và đọc DOM; browser hoặc renderer mới tải trang cùng tài nguyên con. Khi máy chạy browser ở xa, cần vẽ rõ nơi phát sinh mỗi request trước khi đặt proxy.

Khởi tạo session thành công chỉ chứng minh một phần đường điều khiển hoạt động. Mở một trang probe do nhóm sở hữu rồi đọc dữ liệu từ DOM giúp xác nhận browser đã tới origin. Kết hợp request ID với access log thay vì suy từ việc lệnh tạo session trả về không lỗi.

Một trang có thể tải HTML chính qua một tuyến nhưng gọi API hoặc tài nguyên con tới host khác. Liệt kê các host cần thiết cho chức năng thử, kiểm log từng nhóm và xem bypass có áp vào chúng hay không. Không suy toàn bộ trang đã đi cùng tuyến chỉ từ request đầu tiên.

State của phiên gồm cookie, storage và đôi khi dữ liệu profile đã lưu. Tạo context hoặc browser mới không luôn xóa mọi state nếu project chủ động nạp profile hay storage file. Viết ca kiểm đặt cookie trong phiên A rồi quan sát phiên B để biết sự cách ly thực tế.

Proxy authentication thường có giới hạn phụ thuộc engine, driver và cơ chế chạy. Cấu hình manual proxy trong tiêu chuẩn không có nghĩa mọi browser đều chấp nhận userinfo trong URL. Thử challenge bằng gateway lab và ghi phương thức cụ thể thay vì thêm các key chưa được tài liệu xác nhận.

Điều kiện chờ nên gắn với trạng thái ứng dụng. Chờ một bảng xuất hiện, một nút đổi trạng thái hoặc một request được xác nhận thường có ý nghĩa hơn sleep cố định. Đặt deadline hữu hạn và lưu dấu hiệu cuối cùng đã quan sát nếu điều kiện không đạt.

Screenshot có ích cho lỗi giao diện nhưng không thay log mạng. Một trang lỗi proxy và một trang login có thể đều có title và phần body. Test cần kiểm nội dung nghiệp vụ, status hoặc request ID phù hợp, tránh chỉ xác nhận màn hình không trống.

Giữ browser và driver tương thích theo cấu hình đã khóa. Sau nâng phiên bản, chạy lại smoke test, proxy auth, bypass và cookie isolation trước các luồng dài. Một capability được nhận ở bản cũ có thể bị từ chối hoặc có hành vi khác ở bản mới.

Vòng đời phiên cần được kết thúc cả khi assertion lỗi. Đặt cleanup trong finally hoặc teardown của framework để browser, connection và file tạm không tích lũy. Một lượt thử sau bị ảnh hưởng bởi profile cũ sẽ không còn là đối chứng sạch.

Bằng chứng bàn giao nên gồm sơ đồ hai tuyến, bộ phiên bản, capability hoặc dictionary đã che secret và log origin theo request ID. Nếu chưa chạy với gateway có xác thực, ghi riêng ca đó chưa xác minh. Không nhận sự hỗ trợ từ tài liệu tiêu chuẩn là kết quả thử trên một browser cụ thể.

Phần giao thức có thể đối chiếu thêm với hướng dẫn proxy và tunnel của MDN. Giữ danh tính ứng dụng và danh tính gateway thành hai cấu hình riêng giúp việc chẩn đoán rõ hơn.

Công cụ và dữ liệu

Splash proxy xác minh đường đi

Tuyến direct là đối chứng về khả năng tiếp cận nguồn, không phải bằng chứng proxy đang lỗi hay đang tốt. Chạy cùng endpoint, cùng nội dung yêu cầu và cùng tiêu chí dữ liệu. Chỉ đổi cấu hình mạng trong phép so này; đổi đồng thời selector, token và gateway sẽ làm kết quả mất khả năng giải thích.

Đường qua gateway có thêm một bên trung gian và có thể thêm bước xác thực hoặc tunnel. Cần xác định lỗi xảy ra trước khi tới proxy, tại proxy hay sau khi proxy đã kết nối origin. Mỗi vị trí đòi hỏi cách sửa khác nhau và không thể được nhận diện chỉ bằng một nhãn lỗi chung.

Với HTTPS đích qua HTTP proxy, client thường yêu cầu mở tunnel rồi mới thiết lập TLS tới origin. Gateway dùng HTTP không có nghĩa nội dung HTTPS của origin được gửi dưới dạng HTTP thuần. Tuy vậy, chính kết nối tới gateway và cơ chế xác thực của nó vẫn phải được đánh giá theo môi trường triển khai.

IP quan sát tại origin là một bằng chứng về tuyến, nhưng không mô tả toàn bộ trạng thái ứng dụng. Hai phiên khác nhau có thể dùng cùng IP; một phiên có thể đi qua cơ chế thay IP tùy gateway. Vì thế ghi riêng request ID, session ID đã che và nhãn cấu hình thay vì đồng nhất chúng với nhau.

Header tự gửi như X-Forwarded-For không phải bằng chứng về IP kết nối. Origin cần ghi peer address từ tầng mạng hoặc dùng thông tin từ reverse proxy đáng tin theo hạ tầng của nhóm. Không tự thêm header rồi dùng giá trị đó để báo gateway đã được xác minh.

Hostname cũng phải được xét từ nơi request thực sự phát sinh. Máy chạy browser, worker container và laptop điều khiển có thể có DNS khác nhau. Một hostname mở được trên laptop chưa chứng minh node từ xa kết nối được tới cùng origin hoặc gateway.

Bypass cần ca kiểm dương và ca kiểm âm. Host nội bộ được chọn phải đi tuyến direct đúng dự kiến, trong khi một host ngoài danh sách vẫn phải qua proxy. Nếu chỉ kiểm host nội bộ mở được, một cấu hình vô tình bỏ proxy cho mọi host vẫn có thể bị nhận nhầm là đạt.

Sau redirect, kiểm URL cuối cùng trước khi đọc dữ liệu. Redirect có thể đổi hostname, giao thức hoặc trang đích sang form đăng nhập. Hợp đồng tải nên nêu rõ có cho theo redirect hay không và phạm vi host được phép, thay vì coi mọi trang trả về là nguồn dữ liệu mong muốn.

Nếu cần rà đầu vào, dùng hướng dẫn định dạng proxy để kiểm cấu trúc URL trước khi thử kết nối. Quy tắc bỏ qua proxy cũng cần được đối chiếu với cú pháp riêng của thư viện, vì các runtime có thể hiểu danh sách host khác nhau.

Kiểm cấu hình, kiểm đường đi và kiểm dữ liệu là ba bước riêng. Một bước đạt chưa thay thế bằng chứng của hai bước còn lại.

Splash proxy bộ ca kiểm có đối chứng

Các ca dưới đây là kế hoạch kiểm trên ứng dụng hoặc nguồn dữ liệu được phép. Thực hiện theo thứ tự, giữ đầu vào giống nhau khi so hai cấu hình và lưu trạng thái từng ca. Nếu thiếu runtime, gateway hoặc fixture tương ứng, ghi chưa chạy thay vì suy kết quả từ tài liệu.

Client tới Splash

Gọi health hoặc render API theo tuyến điều khiển đã biết. Splash nhận request điều khiển ngay cả khi origin chưa tải được.

Đây là ca cơ sở để khóa đầu vào. Ghi tên cấu hình, phiên bản và mã lượt chạy trước khi mở rộng. Nếu ca cơ sở chưa đạt, dừng so hiệu năng và giữ log lỗi đầu tiên; thêm nhiều tác vụ sẽ chỉ tạo thêm biến số khó tách.

Splash tới origin

Gắn proxy trong payload render và kiểm origin access log. IP quan sát thuộc tuyến renderer chứ không suy từ IP máy gọi.

Giữ phần còn lại của môi trường như ca trước để phép so có ý nghĩa. Lưu cả kết quả quan sát và điều kiện mong đợi vào hai trường riêng. Một mô tả kết quả khác kỳ vọng thường hữu ích hơn nhãn thất bại đơn lẻ khi người khác cần tái lập.

JavaScript đơn giản

Trang lab đổi text result sau một timer. HTML cuối có đúng text sau render, không chỉ có id node.

Kiểm nguyên nhân bằng dữ liệu ở lớp tương ứng. Không sửa đồng thời secret, URL và logic xử lý chỉ để lượt sau chạy qua. Sau mỗi thay đổi nhỏ, chạy lại đúng ca này và đối chiếu request hoặc record bằng mã nhận diện đã giữ.

Tài nguyên con

Trang tải script và ảnh từ hostname lab thứ hai. Mỗi host được đối chiếu với chính sách proxy và log tài nguyên.

Bổ sung một assertion về nội dung hoặc trạng thái, thay vì chỉ kiểm chương trình không ném lỗi. Nếu công cụ trả về đối tượng hợp lệ nhưng thiếu giá trị nghiệp vụ, ca này vẫn chưa đạt. Giữ bản input nhỏ để assertion có thể kiểm lại offline khi phù hợp.

Gateway sai

Đổi cổng proxy trong payload render. Lỗi thuộc tải của renderer, khác lỗi không truy cập được Splash API.

Đối chiếu nhánh lỗi với một nhánh bình thường đã biết. Ghi rõ khác biệt đến từ dữ liệu, cấu hình hay môi trường. Khi hết phép thử, hoàn nguyên biến đã thay để ca kế tiếp không kế thừa một trạng thái lỗi được tạo có chủ đích.

Timeout hai lớp

Cho origin chậm rồi đặt deadline API lớn hơn ngân sách render. Client không kết luận sai khi bản thân nó hết thời hạn trước renderer.

Chỉ giới hạn thay đổi trong môi trường lab và đặt thời hạn kết thúc hữu hạn. Lỗi được tạo có chủ đích phải có nhãn riêng để không bị đưa vào thống kê sự cố vận hành. Sau ca này, kiểm tác vụ và tài nguyên còn sống trước khi chuyển bước.

Tương thích engine

Thử đúng API JavaScript mà trang thật cần trên fixture sở hữu. Quyết định phù hợp dựa trên chức năng quan sát được.

Giữ đầu ra gốc khi đánh giá kết quả đã chuẩn hóa. Nếu cần che thông tin, che trên bản sao bàn giao và ghi phương pháp che. Đừng xóa metadata cần thiết để truy ngược một request hoặc record rồi vẫn nhận phép thử có thể tái lập.

Khóa API

Giới hạn URL và quyền người gọi ở hạ tầng lab. Renderer không trở thành dịch vụ tải URL tùy ý ngoài phạm vi.

Chạy lại một ca cơ sở sau khi hoàn nguyên để kiểm môi trường đã trở về trạng thái dự kiến. Lưu kết quả cuối cùng cùng thời điểm kết thúc. Việc dọn tài nguyên thuộc điều kiện kết thúc bài thử, không phải một bước tùy hứng sau khi đã báo thành công.

Kiểm theo từng ca

Splash proxy phân loại lỗi và cách xử lý

Phân loại lỗi theo lớp giúp giảm số lần thử không cần thiết. Không có response HTTP thường hướng tới DNS, TCP, TLS, timeout hoặc thành phần runtime. Có response HTTP thì cần đọc status, loại nội dung và bên thực sự trả response trước khi sửa dữ liệu ứng dụng.

Mã 407 chỉ ra yêu cầu xác thực proxy theo giao thức HTTP. Mã 401 thường liên quan danh tính tại origin. Tuy nhiên, giao diện thư viện có thể bọc lỗi tunnel vào exception; vì vậy lưu loại exception và thông báo đã che bí mật, đừng ép mọi lỗi vào một cột status bằng số.

Mã 403 không tự chứng minh IP nằm trong một danh sách chặn. Nguồn có thể từ chối theo quyền truy cập, token, tuyến URL hoặc chính sách ứng dụng. Cách xử lý là đối chiếu yêu cầu với hợp đồng nguồn và log lab, thay vì đổi gateway liên tục mà không có giả thuyết.

Mã 429 cần được xem cùng cơ chế giới hạn và thời gian chờ mà server cung cấp. Giảm tần suất và tôn trọng hướng dẫn của nguồn. Proxy không làm quota theo tài khoản biến mất; một token vẫn có thể chịu cùng giới hạn dù đi qua nhiều tuyến.

Lỗi parse cần được phân tích trên body đã lưu. Nếu body là HTML lỗi còn chương trình chờ JSON, sửa bước kiểm response trước parser. Nếu bytes đúng nhưng selector trả rỗng, mở fixture và kiểm cấu trúc. Không dùng retry mạng để chữa một lỗi selector có thể tái hiện offline.

Khi gặp lỗi TLS, xác định chứng chỉ được kiểm thuộc hop nào. Chứng chỉ origin và chứng chỉ gateway TLS có thể do hai CA khác nhau cấp. Thay CA ở đúng nơi và giữ kiểm chứng, thay vì dùng một tùy chọn bỏ qua certificate cho toàn bộ tác vụ.

Timeout cần có ngân sách tổng. Một thao tác có thể gồm DNS, kết nối gateway, xác thực, tunnel, TLS và đọc body. Nếu retry được bật ở nhiều lớp, tổng thời gian có thể dài hơn suy nghĩ ban đầu. Đo từ lúc bắt đầu tác vụ đến khi body đã xử lý hoặc tác vụ đã hủy.

Chỉ thử lại khi có lý do và giới hạn rõ. GET trên nguồn lab có thể được retry theo chính sách; POST tạo dữ liệu cần cơ chế chống tạo trùng hoặc xác nhận trạng thái trước. Đừng cho một bài kiểm thất bại gửi lại thao tác ghi nhiều lần mà không biết server đã nhận lần đầu hay chưa.

Khi cần tra nghĩa giao thức, danh mục HTTP status của MDN giúp đọc status đúng lớp. Với lỗi mã hóa, đối chiếu cơ chế TLS của MDN và cấu hình CA của runtime đang dùng. Đây là nền tảng chẩn đoán, không phải kết quả đo trên gateway của anh em.

Splash proxy vận hành và bàn giao

Khi chuyển từ ví dụ sang tác vụ dùng thật, giữ cấu hình đã kiểm như một đơn vị triển khai. Mã nguồn, lockfile, giá trị không bí mật và phiên bản runtime cần đi cùng nhau. Nếu chỉ sao chép một đoạn code vào môi trường khác, phải chạy lại smoke test trước khi tăng khối lượng.

Log phục vụ vận hành nên có mã lượt chạy, nhãn cấu hình, thời gian bắt đầu, thời lượng và trạng thái cuối. Thêm số record hoặc kích thước body khi phù hợp. Không cần lưu cả payload để biết tác vụ tải có thành công; nhiều payload chứa thông tin không nên xuất hiện trong log hỗ trợ.

Giới hạn concurrency theo cả nguồn và tài nguyên máy. Thêm nhiều worker có thể làm pool chờ, tăng bộ nhớ và khiến retry chồng lên nhau. Tăng từng bước trên fixture được phép, giữ số lỗi cùng tính đúng dữ liệu bên cạnh thời gian hoàn tất.

Đừng dùng số liệu giả để điền một bảng kết quả đẹp. Khi chưa chạy một tổ hợp, ghi chưa chạy; khi thiếu credential, ghi thiếu đầu vào; khi runtime không có, ghi chưa xác minh trên runtime đó. Một trạng thái chưa kiểm rõ ràng hữu ích hơn một con số không có nguồn đo.

Thay credential theo quy trình có thời điểm hiệu lực. Tạo cấu hình mới, kiểm một request nhỏ rồi chuyển worker; kết thúc connection hoặc phiên cũ theo vòng đời công cụ. Nếu chỉ thay biến môi trường trong terminal, tiến trình đang chạy lâu có thể tiếp tục giữ giá trị đã đọc trước đó.

Giữ một phương án hoàn nguyên cụ thể. Lưu cấu hình trước thử, dừng tác vụ lab, đóng client hoặc browser và gỡ biến chỉ dùng cho phép thử. Không xóa cache, cookie hay profile dùng chung nếu một thư mục thử riêng có thể đạt cùng mục đích.

Trước khi bàn giao, người nhận nên tái lập được ví dụ bằng một bộ input nhỏ. Liệt kê tên biến cần cấp, file fixture, lệnh khởi chạy và điều kiện đạt. Không bàn giao mật khẩu để người nhận có thể chạy ngay; bàn giao cách cấp secret trong môi trường của họ.

Tách kết quả kiểm kỹ thuật khỏi quyết định xuất bản. Một bản nháp có thể giải thích đúng API nhưng vẫn cần kiểm phiên bản thật, tuyến gateway và dữ liệu của môi trường đích. Chỉ bổ sung tuyên bố tương thích hoặc hiệu năng khi có log và phép đo đủ điều kiện hỗ trợ.

Bàn giao có bằng chứng

Khi cần mua proxy cho tuyến kết nối của tác vụ, anh em nên đối chiếu giao thức, xác thực và phạm vi sử dụng, rồi thử trên một endpoint được phép trước khi chọn gói.

Anh em nên giữ ví dụ nhỏ, cấu hình đã khóa và log đủ truy nguyên trước khi mở rộng tác vụ. Theo dõi Proxy.vn - Nhà cung cấp dịch vụ proxy chất lượng hàng đầu Việt Nam để tham khảo nội dung liên quan. Khi đổi runtime hoặc gateway, chạy lại ca cơ sở và kiểm dữ liệu đầu ra của Splash proxy.