Proxy Theo Dõi Giá Đối Thủ: Cào Giá Sàn TMĐT Ổn Định

Proxy theo dõi giá đối thủ là hạ tầng giúp trình cào của anh em lấy giá trên sàn thương mại điện tử một cách ổn định, không bị chặn sau vài chục request. Sàn chặn IP gửi nhiều request lặp lại, và giá lại thay đổi theo vùng, nên cần nhiều IP ở nhiều nơi. Bài viết này ProxyVN trình bày cách chọn loại proxy, cấu hình trình cào, lịch chạy và cách xử lý giá cá nhân hóa.

Vì sao cần proxy theo dõi giá đối thủ

Hai lý do chính: sàn chặn theo tần suất IP, và giá không đồng nhất giữa các vùng. Một địa chỉ duy nhất không giải quyết được cả hai.

Sàn chặn IP gửi nhiều request lặp lại

Theo trang dùng cho việc này của Decodo về theo dõi giá, nhiều website chặn các request lặp lại từ cùng một IP trong thời gian rất ngắn. Proxy giải quyết bằng cách xoay địa chỉ, làm cho lưu lượng trông như đến từ nhiều người dùng khác nhau, nhờ đó lấy được hàng nghìn điểm dữ liệu giá trong thời gian ngắn.

Giá thay đổi theo vùng và theo người xem

Cùng một sản phẩm có thể hiển thị giá khác nhau tùy quốc gia, thành phố, thậm chí mã bưu chính của người xem. Muốn biết đối thủ bán bao nhiêu ở một thị trường, anh em phải xem từ IP của đúng thị trường đó. Nhắm vùng ở mức quốc gia là chưa đủ với các sàn định giá theo khu vực.

Sáu mục đích theo dõi giá phổ biến

Trang của Webshare về proxy cho theo dõi và giám sát giá liệt kê sáu ứng dụng: phân tích giá đối thủ, định giá động theo thị trường, nghiên cứu chênh lệch giá theo vùng, nhận diện xu hướng giá, tối ưu giá bán trên sàn, và phân tích giá nhà cung cấp trong chuỗi cung ứng.

Proxy làm gì trong quy trình theo dõi giá

Cụ thể hơn, proxy đảm nhận ba việc trong đường ống dữ liệu giá. Thứ nhất, phân tán request qua nhiều địa chỉ để không IP nào chạm ngưỡng tần suất của sàn. Thứ hai, đặt điểm xuất phát của request vào đúng vùng cần khảo sát, để lấy được giá và khuyến mãi mà khách vùng đó thấy. Thứ ba, giữ một địa chỉ ổn định trong suốt một lượt so giá nhiều sàn, để dữ liệu các sàn cùng một hệ quy chiếu. Ba việc này không liên quan tới khâu phân tích HTML, nhưng thiếu chúng thì khâu phân tích không có dữ liệu để chạy. Cách chia và xoay tập proxy cho một job cào lớn được hướng dẫn trong bài web scraping proxy là gì.

Chọn loại proxy theo dõi giá đối thủ

Loại proxy nên chọn theo độ khó của sàn cần cào và ngân sách. Không phải sàn nào cũng cần proxy dân cư đắt tiền.

Proxy dân cư xoay cho sàn chống bot mạnh

Các sàn lớn như Amazon có tường chống bot dày, nhận diện và chặn IP datacenter nhanh. Proxy dân cư xoay đi qua đường truyền gia đình thật, phân tán qua nhiều nhà mạng, nên khó bị chặn hàng loạt. Đây là lựa chọn mặc định khi cào các sàn khó. Khác biệt giữa datacenter và dân cư quyết định sàn nào cào được bằng loại nào được phân tích trong bài so sánh proxy dân cư và datacenter.

Datacenter cho site dễ và ngân sách hẹp

Với các website nhỏ, ít bảo vệ, proxy datacenter chạy nhanh và rẻ hơn nhiều. Nếu cào thử một site mà không dính chặn thì không cần trả tiền cho proxy dân cư. Bắt đầu bằng datacenter, chỉ nâng lên dân cư khi gặp chặn.

Nhắm vùng: quốc gia, thành phố, mã bưu chính

Nhà cung cấp tốt cho nhắm IP ở mức châu lục, quốc gia, bang, thành phố, mã bưu chính hoặc số hiệu mạng. Với giá định theo khu vực, nhắm tới đúng thành phố hoặc mã bưu chính của thị trường cần so là bắt buộc, không dừng ở cấp quốc gia. Cách chọn proxy đúng quốc gia, thành phố hay ASN để thấy đúng giá bản địa được nói trong bài geo targeting proxy là gì.

Độ phân tán dải quan trọng hơn tổng số IP

Khi so hai gói proxy, nhìn số dải độc lập chứ không nhìn con số pool. Một pool được rút từ hàng trăm dải /24 không liền nhau thì mỗi lần một dải bị sàn chặn, phần còn lại vẫn chạy. Pool dồn vào ít dải thì chỉ cần sàn chặn vài dải là cả pool ngừng cào được ở sàn đó. Với việc theo dõi giá chạy dài hạn, tính bền của pool nằm ở số dải.

Khi nào cần IP tĩnh thay vì xoay

Phần lớn việc cào giá hợp với IP xoay để rải tải. Nhưng nếu cần đăng nhập một tài khoản mua hàng để xem giá thành viên, hoặc giữ giỏ hàng qua nhiều bước để đọc giá sau khuyến mãi, thì cần IP tĩnh hoặc phiên giữ IP đủ dài. Trộn hai nhu cầu vào một pool xoay sẽ làm hỏng các luồng cần trạng thái.

Chọn loại proxy theo độ khó của sàn

Cấu hình proxy theo dõi giá đối thủ cho một trình cào

Ba việc cần làm đúng: gửi request qua proxy với header giống trình duyệt, xoay IP hợp lý, và tách phần phân tích HTML theo từng sàn.

Request qua proxy với header giống trình duyệt

Nhiều sàn kiểm tra dấu hiệu client tự động. Gửi request kèm bộ header đầy đủ của một trình duyệt thật, hoặc dùng thư viện giả lập dấu vân tay TLS của Chrome, giúp request không lộ ngay là bot. Bài của IPRoyal về công cụ theo dõi giá tốt dùng cách giả lập Chrome cho mục đích này.

Xoay IP theo request và thêm độ trễ

Chọn một IP khác cho mỗi sản phẩm hoặc mỗi vài request, và chèn khoảng nghỉ ngẫu nhiên vài giây giữa các lần gọi. Cào dồn dập từ một địa chỉ là cách nhanh nhất để bị chặn, kể cả khi dùng proxy dân cư.

Ví dụ trình cào giá bằng Python

Đoạn dưới là ví dụ triển khai chung: lấy giá vài sản phẩm qua proxy dân cư xoay, giả lập Chrome, ghi kết quả kèm mốc thời gian vào tệp CSV. Bộ chọn CSS tách riêng theo từng sàn.

# Vi du trien khai chung: theo doi gia san pham qua proxy dan cu xoay
from curl_cffi import requests
from bs4 import BeautifulSoup
import csv, datetime, random, time

PROXIES = [
    "http://user:[email protected]:8000",
    "http://user:[email protected]:8000",
]

def lay_gia(url, css_gia):
    proxy = random.choice(PROXIES)
    r = requests.get(url, impersonate="chrome", timeout=30,
                    proxies={"http": proxy, "https": proxy})
    soup = BeautifulSoup(r.text, "html.parser")
    o = soup.select_one(css_gia)
    return o.get_text(strip=True) if o else None

def ghi(url, gia):
    moc = datetime.datetime.now().isoformat(timespec="seconds")
    with open("gia_doi_thu.csv", "a", newline="", encoding="utf-8") as f:
        csv.writer(f).writerow([moc, url, gia])

MUC_TIEU = [
    ("https://sanA.example/vn/sp/123", "span.price"),
    ("https://sanB.example/p/456", "[data-testid='price']"),
]

for url, css in MUC_TIEU:
    gia = lay_gia(url, css)
    ghi(url, gia)
    print(url, "->", gia)
    time.sleep(random.uniform(3, 8))

Chuẩn hóa dữ liệu sau khi cào

Giá lấy về là chuỗi thô như 1.290.000 đ hoặc 49.99 USD, cần tách số và đơn vị trước khi so. Quy mọi giá về một loại tiền và một định dạng số. Khử trùng lặp khi cùng một sản phẩm lấy được từ nhiều lần chạy trong ngày. Lưu kèm mốc thời gian, vùng IP và URL để về sau còn truy lại một điểm dữ liệu đến từ đâu. Thư viện xử lý bảng như pandas làm gọn các bước này khi số dòng lớn.

Ngoài giá, các trường đáng lưu gồm giá gốc, mức giảm, tình trạng còn hàng, biến thể theo màu và kích cỡ, phí vận chuyển, tên người bán, số lượng và điểm đánh giá, nhãn khuyến mãi. Bộ trường này cho phép phân tích sâu hơn là chỉ so một con số, ví dụ nhận ra đối thủ hạ giá niêm yết nhưng tăng phí ship.

Theo dõi giá đối thủ không khó ở khâu lấy con số. Nó khó ở chỗ đảm bảo con số lấy về đúng là con số khách của họ nhìn thấy.

Lịch chạy và tần suất khi dùng proxy theo dõi giá đối thủ

Tần suất cào nên khớp tốc độ giá thật sự thay đổi. Cào quá dày vừa tốn băng thông vừa tăng nguy cơ bị chặn.

Ngày cho hàng thường, giờ cho hàng biến động

Bài của IPRoyal gợi ý mức tần suất theo nhu cầu: theo dõi mua sắm cá nhân thì một lần mỗi ngày là đủ; sản phẩm biến động mạnh thì vài lần mỗi ngày hoặc mỗi giờ; thị trường cạnh tranh gắt thì giám sát gần thời gian thực. Chọn tần suất cao nhất chỉ cho nhóm sản phẩm thật sự cần.

Rải theo giờ để không tạo đỉnh tải

Đừng cào toàn bộ danh mục cùng một thời điểm. Trải các lượt cào đều quanh ngày, chia nhỏ theo nhóm sản phẩm. Cách này giữ tải trên mỗi IP thấp và tránh tạo một đỉnh lưu lượng dễ bị đếm. Nếu cần một mốc chụp giá đồng thời cho cả danh mục, hãy tăng số IP chạy song song thay vì ép mỗi IP chạy nhanh hơn.

Lên lịch tự động

Dùng bộ lập lịch trong mã, hoặc tính năng chạy định kỳ của dịch vụ cào, để các lượt cào tự chạy theo giờ, ngày, tuần. Đoạn dưới là ví dụ triển khai chung dùng thư viện lập lịch.

import schedule, time

def chay():
    # goi lai vong lap lay_gia o vi du tren
    ...

schedule.every().day.at("09:00").do(chay)   # theo doi thuong nhat
schedule.every(2).hours.do(chay)             # nhom san pham bien dong

while True:
    schedule.run_pending()
    time.sleep(30)

Lịch chạy rải đều theo giờ

Xử lý giá cá nhân hóa và cloaking

Con số cào về chỉ có giá trị nếu đúng là con số khách thật nhìn thấy. Hai thứ làm sai lệch: giá cá nhân hóa và trang mồi.

Giá phân biệt theo vùng và theo thiết bị

Một số sàn hiển thị giá khác nhau theo vị trí, theo loại thiết bị, theo lịch sử duyệt. Để so đúng, cố định các biến này: cùng vùng IP, cùng loại thiết bị giả lập, phiên sạch không mang lịch sử. So giá giữa hai sàn mà một bên xem từ IP Mỹ, một bên từ IP Việt Nam là so nhầm.

Nhận ra khi bị trả bản mồi

Nếu sàn nghi anh em đang cào, họ có thể trả về trang có bố cục đúng nhưng giá cũ hoặc giá sai. Cách kiểm: thỉnh thoảng mở thủ công một sản phẩm bằng trình duyệt thật qua đúng proxy vùng, so với con số trình cào lấy được. Lệch một cách hệ thống là dấu hiệu bị phục vụ bản mồi.

Giữ phiên nhất quán cho một lượt so giá

Trong một lượt so giá nhiều sàn, dùng phiên giữ IP để mọi request của lượt đó đi ra từ cùng một vùng. Nếu cổng xoay đổi IP giữa chừng, nửa danh mục xem từ nơi này, nửa từ nơi khác, dữ liệu mất tính so sánh. Cố định các biến của một lượt so giá gồm:

• Vùng IP: cùng một thành phố hoặc mã bưu chính cho mọi sàn trong lượt.

• Loại thiết bị giả lập: cùng máy bàn hoặc cùng di động, không trộn.

• Thời điểm cào: các sàn trong một lượt cào gần nhau về thời gian.

• Loại tiền và đơn vị bán: quy về cùng chuẩn trước khi so.

Build hay mua công cụ proxy theo dõi giá đối thủ

Ba mức đầu tư, chọn theo quy mô và mức tùy biến cần có.

Công cụ có sẵn cho nhu cầu nhẹ

CamelCamelCamel theo dõi giá Amazon miễn phí, Keepa cho biểu đồ lịch sử sâu hơn với gói trả phí, Google Shopping so giá nhiều nơi bán. Hợp khi chỉ cần theo vài sản phẩm trên một sàn, không cần dữ liệu thô. Cách dùng proxy để mua và so giá hàng Amazon nước ngoài cũng được nói trong bài proxy mua hàng Amazon nước ngoài.

API cào giá cho quy mô vừa

Các API cào thương mại điện tử nhận một mã sản phẩm và trả về dữ liệu đã phân tích: giá hiện tại, giá gốc, mức giảm, tình trạng còn hàng, biến thể, phí ship, người bán, số lượng đánh giá. Theo tài liệu cào giá thương mại điện tử của Decodo, một yêu cầu gửi lên là POST kèm các tham số như target chỉ sàn, query là mã sản phẩm, page_from để phân trang và parse để bật phân tích. Giới hạn tốc độ theo gói dao động từ khoảng mười request mỗi giây ở gói thấp tới năm mươi request mỗi giây ở gói cao, và thường chỉ tính tiền cho kết quả lấy về thành công.

Tự dựng trình cào cho tùy biến sâu

Tự dựng cho toàn quyền chọn sàn, chọn trường dữ liệu, chọn cách xử lý. Đổi lại, mỗi sàn có cấu trúc HTML riêng cần soi tay, và khi sàn đổi giao diện thì bộ chọn CSS hỏng, phải sửa. Hợp khi cần cào nhiều sàn lạ, quy mô lớn, và có người bảo trì.

Build hay mua công cụ theo dõi giá

Lỗi thường gặp khi dùng proxy theo dõi giá đối thủ

Vài lỗi khiến dữ liệu giá sai hoặc trình cào bị chặn sớm.

Cào quá nhanh trên một IP

Ép một địa chỉ chạy hàng trăm request mỗi phút là chạm ngưỡng tần suất ngay. Chia tải ra nhiều IP, thêm độ trễ, và ước lượng số trang một người thật xem trong một giờ để giữ mỗi IP dưới mức đó. Bao nhiêu request mỗi IP thì bắt đầu dính 429 được bàn cụ thể trong bài lỗi 429 khi mua proxy.

Bỏ qua khác biệt HTML giữa các sàn

Dùng chung một bộ chọn CSS cho mọi sàn thì phần lớn sẽ trả về rỗng. Mỗi sàn cần một bộ chọn riêng, và cần kiểm tra định kỳ vì sàn hay đổi cấu trúc. Ghi log khi bộ chọn trả về rỗng để phát hiện sớm.

Không khớp vùng IP với thị trường cần so

Cào giá thị trường Việt Nam nhưng dùng IP Mỹ cho ra giá dành cho khách Mỹ, đôi khi kèm thuế và phí ship khác. Luôn dùng proxy ở đúng vùng của thị trường đang phân tích.

Không chuẩn hóa tiền tệ và đơn vị

So một giá tính bằng đồng với một giá tính bằng đô la, hoặc so giá theo cái với giá theo lốc, cho ra kết luận sai. Trước khi đưa vào báo cáo, quy tất cả về cùng một loại tiền theo tỉ giá ngày cào, và cùng một đơn vị bán. Ghi rõ tỉ giá đã dùng để về sau còn kiểm lại.

Checklist rút gọn

• Chọn loại proxy theo độ khó của sàn, thử datacenter trước khi lên dân cư. Nguồn proxy datacenter, ISP và dân cư xoay theo độ khó của sàn có tại trang mua proxy.

• Nhắm IP tới đúng thành phố hoặc mã bưu chính của thị trường.

• Header giống trình duyệt, xoay IP, thêm độ trễ giữa các request.

• Mỗi sàn một bộ chọn CSS, ghi log khi trả về rỗng.

• Đối chiếu định kỳ với trình duyệt thật để phát hiện bản mồi.

Kiểm tra con số lấy về đúng là giá khách thấy

Tóm lại, proxy theo dõi giá đối thủ là chọn đúng loại IP theo độ khó của sàn, nhắm tới đúng vùng của thị trường, xoay IP và giữ nhịp cào giống người thật, rồi đối chiếu lại để chắc con số lấy về là giá khách thật nhìn thấy. Proxy.vn - Nhà cung cấp dịch vụ proxy chất lượng hàng đầu Việt Nam tư vấn anh em chọn proxy theo sàn cần cào và các thị trường cần so giá.