Cào dữ liệu Shopee: Cách làm, giới hạn và vai trò proxy
Cào dữ liệu Shopee là việc tự động thu thập thông tin công khai trên Shopee như giá sản phẩm, số lượng đã bán, đánh giá, thông tin shop để phục vụ nghiên cứu thị trường, theo dõi đối thủ hay định giá. Người bán hàng, đơn vị nghiên cứu và đội marketing thương mại điện tử đều có nhu cầu này. Bài này ProxyVN giải thích dữ liệu nào lấy được, các cách làm từ dễ tới khó, những giới hạn và cơ chế chống bot của Shopee, vai trò của proxy Việt Nam và cách làm sạch dữ liệu sau khi thu thập. Xem thêm dịch vụ tại ProxyVN.
Tổng quan về cào dữ liệu Shopee
Shopee là một trong những sàn thương mại điện tử lớn nhất Việt Nam với hàng chục triệu sản phẩm. Dữ liệu trên sàn phản ánh khá sát thị trường: giá bán thực tế, mức độ cạnh tranh, sản phẩm nào đang bán chạy, người mua phàn nàn gì. Với người bán, đây là nguồn thông tin quý để ra quyết định.
Cào dữ liệu (web scraping) là dùng chương trình để đọc trang web và rút ra thông tin có cấu trúc, thay vì sao chép tay từng sản phẩm. Nguyên lý chung được giải thích trong bài web scraping proxy là gì, bài này đi vào trường hợp riêng của Shopee.
Ai cần cào dữ liệu Shopee
- Người bán hàng: theo dõi giá đối thủ cùng ngành hàng, điều chỉnh giá và khuyến mãi kịp thời.
- Nhà sản xuất, thương hiệu: kiểm tra đại lý bán đúng giá niêm yết, phát hiện hàng giả, hàng nhái dùng tên thương hiệu.
- Đơn vị nghiên cứu thị trường: đo quy mô ngành hàng, xu hướng tiêu dùng theo mùa.
- Đội marketing: phân tích đánh giá để hiểu điểm mạnh, điểm yếu của sản phẩm.
- Người làm tiếp thị liên kết: tìm sản phẩm có tỷ lệ bán tốt để giới thiệu.
Cào dữ liệu khác quản lý shop
Cào dữ liệu là đọc thông tin công khai. Quản lý nhiều shop bán hàng là chuyện khác, liên quan tới tài khoản người bán và chính sách của Shopee về số tài khoản. Phần quản lý shop có trong bài proxy Shopee và nhiều tài khoản Shopee chung 1 IP. Bài này chỉ nói về thu thập dữ liệu.
Dữ liệu nào lấy được khi cào dữ liệu Shopee
Không phải mọi thông tin trên Shopee đều nên hoặc có thể thu thập. Phân biệt rõ giúp dự án đúng hướng ngay từ đầu.
Dữ liệu nào lấy được từ Shopee
Dữ liệu sản phẩm công khai
Trường dữ liệu |
Ý nghĩa |
Dùng để |
|---|---|---|
Tên sản phẩm |
Tiêu đề hiển thị |
Phân loại, phân tích từ khoá |
Giá bán, giá gốc |
Giá hiện tại và giá trước giảm |
Theo dõi giá, mức giảm |
Số lượng đã bán |
Con số hiển thị trên trang |
Ước tính doanh số |
Điểm đánh giá, số đánh giá |
Trung bình sao và tổng lượt |
Đo mức hài lòng |
Biến thể |
Màu, kích cỡ, giá từng loại |
So sánh chi tiết |
Tên shop, khu vực |
Người bán và nơi gửi hàng |
Phân tích cạnh tranh |
Danh mục |
Ngành hàng của sản phẩm |
Đo quy mô ngành |
Nội dung đánh giá
Nội dung đánh giá của người mua chứa thông tin quý về chất lượng, giao hàng, đóng gói. Tuy vậy đánh giá có tên người dùng và đôi khi ảnh cá nhân. Khi thu thập, chỉ giữ nội dung và số sao, bỏ thông tin định danh người viết. Cách thu thập đánh giá sản phẩm nói chung có trong bài proxy cào review sản phẩm.
Dữ liệu không nên thu thập
Thông tin cá nhân của người mua, người bán ngoài phần hiển thị công khai, dữ liệu sau đăng nhập của tài khoản khác, thông tin đơn hàng. Những dữ liệu này vừa vi phạm quyền riêng tư vừa có thể vi phạm pháp luật về bảo vệ dữ liệu cá nhân.
Con số "đã bán" không phải doanh số chính xác
Con số đã bán hiển thị thường được làm tròn và có thể tính dồn nhiều tháng. Dùng để so sánh tương đối giữa sản phẩm thì được, dùng làm doanh số chính xác thì sai lệch. Cách tốt hơn là theo dõi con số này theo thời gian, lấy chênh lệch giữa hai lần đo để ước tính lượng bán trong kỳ.
Ba cách cào dữ liệu Shopee
Tuỳ khối lượng dữ liệu và kỹ năng kỹ thuật, có ba hướng chính. Mỗi hướng có ưu nhược riêng.
Ba cách lấy dữ liệu
Cách 1: Tiện ích trình duyệt và công cụ có sẵn
Có nhiều tiện ích trình duyệt và phần mềm phân tích sàn thương mại điện tử cho phép xem số liệu ngay trên trang Shopee hoặc xuất danh sách sản phẩm ra bảng tính. Ưu điểm là không cần lập trình, bắt đầu trong vài phút. Nhược điểm là giới hạn số lượng, phụ thuộc nhà cung cấp, và dữ liệu có thể đi qua máy chủ của bên thứ ba.
Cách 2: Công cụ cào dữ liệu kéo thả
Công cụ như Octoparse cho phép chỉ vào phần tử trên trang để tạo quy trình thu thập, chạy theo lịch, xuất ra Excel hoặc cơ sở dữ liệu. Phù hợp với người không lập trình nhưng cần khối lượng vừa phải và lặp lại đều đặn. Cách gắn proxy cho công cụ này có trong bài proxy Octoparse.
Cách 3: Tự viết mã
Lập trình viên dùng Python với Playwright, Selenium để điều khiển trình duyệt, hoặc Scrapy để thu thập quy mô lớn. Tự viết mã linh hoạt nhất, kiểm soát được mọi chi tiết, nhưng cần thời gian xây dựng và bảo trì khi Shopee thay đổi giao diện. Cách cấu hình proxy cho Playwright có trong bài proxy Playwright.
So sánh nhanh
Tiêu chí |
Tiện ích có sẵn |
Công cụ kéo thả |
Tự viết mã |
|---|---|---|---|
Kỹ năng cần |
Không |
Thấp |
Lập trình |
Khối lượng phù hợp |
Vài trăm sản phẩm |
Vài nghìn tới vài chục nghìn |
Không giới hạn về kỹ thuật |
Chi phí |
Thuê bao tháng |
Thuê bao tháng |
Thời gian phát triển, máy chủ |
Khi Shopee đổi giao diện |
Nhà cung cấp sửa |
Tự sửa quy trình |
Tự sửa mã |
Kiểm soát dữ liệu |
Thấp |
Trung bình |
Cao |
Dịch vụ thuê ngoài
Ngoài ba cách trên, có thể thuê đơn vị chuyên thu thập dữ liệu, trả tiền theo bộ dữ liệu. Cách này hợp khi cần dữ liệu một lần hoặc không muốn duy trì hạ tầng. Ưu nhược của việc thuê dịch vụ được bàn trong bài thuê dịch vụ web scraping.
Cách Shopee tải dữ liệu lên trang
Hiểu cách trang Shopee hoạt động giúp chọn đúng công cụ và giảm số yêu cầu cần gửi.
Trang dựng bằng JavaScript
Trang Shopee là ứng dụng web hiện đại, phần lớn nội dung được tải bằng JavaScript sau khi khung trang hiện ra. Tải mã HTML đơn thuần thường chỉ thấy khung rỗng, không có giá hay tên sản phẩm. Vì vậy công cụ cần chạy được JavaScript, hoặc đọc dữ liệu từ các yêu cầu mà trang gọi phía sau.
Dữ liệu đến từ các yêu cầu nội bộ
Khi mở trang danh mục hay sản phẩm, trình duyệt gọi các điểm cuối nội bộ trả về dữ liệu dạng JSON. Mở công cụ nhà phát triển, thẻ Network, sẽ thấy các yêu cầu này. Đọc dữ liệu JSON gọn hơn phân tích HTML, nhưng các điểm cuối này không phải API công khai, có thể thay đổi bất cứ lúc nào và thường có cơ chế chống gọi tự động.
API chính thức dành cho người bán
Shopee có nền tảng Shopee Open Platform cung cấp API chính thức cho người bán và đối tác quản lý shop của chính mình: sản phẩm, đơn hàng, tồn kho. API này không dùng để lấy dữ liệu của shop khác. Nếu nhu cầu là đồng bộ dữ liệu shop của mình, đây là con đường đúng thay vì cào.
Giới hạn và cơ chế chống bot khi cào dữ liệu Shopee
Shopee đầu tư nhiều vào chống bot vì sàn bị thu thập dữ liệu, săn khuyến mãi tự động và gian lận thường xuyên. Cào dữ liệu Shopee mà bỏ qua phần này thì công cụ sẽ hỏng rất nhanh.
Giới hạn tần suất và proxy
Giới hạn tần suất theo IP
Gửi quá nhiều yêu cầu từ một IP trong thời gian ngắn sẽ bị chặn tạm thời, nhận mã lỗi hoặc trang trống. Mã 429 Too Many Requests là cách phổ biến để máy chủ báo vượt giới hạn, ý nghĩa được mô tả trong trang 429 của MDN. Cách xử lý khi gặp mã này có trong bài mua proxy bị lỗi 429.
Thử thách xác minh
Phiên bị nghi ngờ sẽ gặp thử thách xác minh như kéo thanh trượt hoặc chọn ảnh. Đây là tín hiệu công cụ đang bị nhận diện. Giải tự động các thử thách này là hành vi vượt cơ chế bảo vệ, bài này không hướng dẫn. Cách đúng là giảm tần suất, cải thiện tín hiệu phiên để ít gặp thử thách hơn.
Yêu cầu đăng nhập
Một số dữ liệu hoặc khi duyệt nhiều trang liên tục, Shopee yêu cầu đăng nhập. Cào dữ liệu bằng tài khoản thật có rủi ro tài khoản bị hạn chế. Ưu tiên dữ liệu xem được mà không cần đăng nhập.
Nhận diện trình duyệt tự động
Trình duyệt điều khiển bằng mã để lại dấu vết như thuộc tính webdriver, thông số không giống trình duyệt người dùng. Shopee dùng các dấu vết này cùng hành vi duyệt để đánh giá. Thông số trình duyệt nhất quán và hành vi chậm rãi giúp giảm bị nhận diện.
Điều khoản sử dụng
Điều khoản của Shopee quy định về việc truy cập và sử dụng nền tảng, có thể đọc trong mục chính sách của Shopee. Trước khi bắt đầu dự án, đọc kỹ điều khoản, đặc biệt nếu dữ liệu dùng cho mục đích thương mại. Cũng nên tham khảo tệp robots.txt của trang, cơ chế được giải thích trong tài liệu robots.txt của Google.
Vai trò của proxy khi cào dữ liệu Shopee
Proxy không phải công cụ vượt rào. Proxy giúp chia tải yêu cầu ra nhiều IP để mỗi IP giữ tần suất ở mức bình thường, và giúp thấy đúng dữ liệu người dùng Việt Nam thấy.
Vì sao cần IP Việt Nam
Shopee Việt Nam phục vụ người dùng trong nước. Truy cập từ IP nước ngoài có thể bị chuyển hướng, thấy giá hoặc phí vận chuyển khác, hoặc bị chấm rủi ro cao hơn. IP Việt Nam theo nhà mạng giúp phiên trông như người mua bình thường. Nếu cần IP Việt Nam cho dự án thu thập dữ liệu, anh em có thể mua proxy tại ProxyVN với IP Viettel, VNPT, FPT.
Proxy xoay hay proxy tĩnh
Proxy xoay đổi IP theo thời gian hoặc mỗi yêu cầu, phù hợp khi duyệt nhiều trang danh mục, mỗi trang một IP. Proxy tĩnh giữ IP cố định, phù hợp khi cần phiên duyệt dài, ví dụ duyệt nhiều trang của một shop liên tục. Với Shopee, proxy dân cư xoay thường cho tỷ lệ thành công cao hơn proxy datacenter. Tổng quan về proxy xoay Việt Nam có trong bài mua proxy xoay Việt Nam.
Proxy không thay thế cho tần suất hợp lý
Dùng một trăm IP để gửi một nghìn yêu cầu mỗi giây vẫn là hành vi bất thường, chỉ là phân tán hơn. Đặt độ trễ giữa các yêu cầu, giới hạn số luồng mỗi IP, chạy vào giờ thấp điểm. Tần suất giống người dùng thật vừa ít bị chặn, vừa không gây tải cho sàn.
Ước tính dung lượng
Trang Shopee nặng vì nhiều ảnh. Dùng trình duyệt đầy đủ qua proxy tính theo dung lượng có thể tốn nhiều hơn dự tính. Chặn tải ảnh, video, phông chữ khi không cần, hoặc đọc dữ liệu JSON thay vì tải cả trang. Cách ước tính dung lượng theo từng kiểu việc có trong bài proxy bao nhiêu GB là đủ.
Quy trình cào dữ liệu Shopee từng bước
Dưới đây là quy trình gợi ý cho một dự án theo dõi giá đối thủ, có thể điều chỉnh cho mục đích khác.
Bước 1: Xác định câu hỏi cần trả lời
Ví dụ: giá trung bình của sản phẩm cùng loại thay đổi thế nào trong tháng, đối thủ nào giảm giá vào dịp khuyến mãi. Câu hỏi rõ giúp chỉ thu thập đúng dữ liệu cần, tiết kiệm yêu cầu và dung lượng.
Bước 2: Lập danh sách mục tiêu
Liệt kê danh mục, từ khoá tìm kiếm hoặc danh sách sản phẩm, shop cần theo dõi. Danh sách cố định dễ quản lý hơn duyệt tràn lan toàn sàn.
Bước 3: Chọn công cụ và cấu hình proxy
Chọn một trong ba cách đã nêu. Gắn proxy Việt Nam, đặt số luồng thấp ban đầu, ví dụ một hai luồng, kiểm tra kết quả trước khi tăng.
Bước 4: Chạy thử với khối lượng nhỏ
Thu thập vài chục sản phẩm, kiểm tra từng trường dữ liệu có đúng không, giá có đúng đơn vị không, có bị thiếu biến thể không. Sửa lỗi ở quy mô nhỏ rẻ hơn nhiều so với phát hiện sau khi chạy hàng nghìn trang.
Bước 5: Lên lịch chạy định kỳ
Theo dõi giá cần chạy đều đặn, ví dụ mỗi ngày một lần vào cùng giờ. Lưu mỗi lần chạy kèm thời điểm để so sánh theo thời gian. Cách theo dõi giá đối thủ nói chung có trong bài proxy theo dõi giá đối thủ.
Bước 6: Giám sát tỷ lệ lỗi
Ghi lại số yêu cầu thành công, số bị chặn, số gặp thử thách. Tỷ lệ lỗi tăng đột ngột là dấu hiệu Shopee đổi giao diện hoặc siết chống bot, cần dừng lại kiểm tra thay vì tiếp tục gửi yêu cầu.
Làm sạch dữ liệu sau khi cào dữ liệu Shopee
Dữ liệu thô từ sàn thương mại điện tử luôn lộn xộn. Không làm sạch thì phân tích sai.
Làm sạch dữ liệu sau khi cào
Chuẩn hoá giá
Giá có thể hiển thị dạng khoảng khi có nhiều biến thể, có ký hiệu tiền tệ, dấu chấm phân cách hàng nghìn. Chuyển về số nguyên, tách giá thấp nhất và cao nhất của khoảng, ghi rõ có phải giá khuyến mãi không.
Loại trùng lặp
Một sản phẩm có thể xuất hiện ở nhiều danh mục hoặc nhiều trang kết quả tìm kiếm. Dùng mã sản phẩm và mã shop làm khoá để loại trùng.
Xử lý con số làm tròn
Số đã bán dạng "1,2k" cần chuyển thành số. Ghi chú đây là số làm tròn để người phân tích không coi là chính xác.
Gắn nhãn thời gian
Mỗi bản ghi phải có thời điểm thu thập. Giá trên Shopee thay đổi theo giờ trong các đợt khuyến mãi lớn, thiếu thời điểm thì không so sánh được.
Phân loại sản phẩm
Tên sản phẩm trên sàn thường dài và nhồi từ khoá. Cần quy tắc hoặc mô hình phân loại để gom sản phẩm cùng loại, ví dụ tất cả tai nghe không dây có chống ồn vào một nhóm, trước khi tính giá trung bình.
Phân tích dữ liệu sau khi cào dữ liệu Shopee
Dữ liệu sạch mới bắt đầu tạo ra giá trị khi được phân tích đúng câu hỏi ban đầu.
Theo dõi biến động giá
Vẽ biểu đồ giá theo thời gian cho từng sản phẩm đối thủ. Nhận ra chu kỳ giảm giá, thời điểm đối thủ chạy khuyến mãi, mức giá sàn họ chấp nhận.
Đo mức độ cạnh tranh
Đếm số shop bán cùng loại sản phẩm, phân bố giá, tỷ lệ shop có đánh giá cao. Ngành hàng có nhiều shop giá thấp, đánh giá tốt là ngành khó vào.
Phân tích đánh giá
Gom các đánh giá thấp sao, tìm từ khoá lặp lại như "giao chậm", "không giống hình", "nhanh hỏng". Đây là điểm yếu của đối thủ mà sản phẩm của mình có thể làm tốt hơn.
Kết hợp với dữ liệu sàn khác
So sánh với Lazada, TikTok Shop để thấy bức tranh toàn thị trường. Một sản phẩm rẻ trên Shopee nhưng đắt trên TikTok Shop gợi ý chiến lược kênh khác nhau. Gợi ý về proxy cho các sàn này có trong bài mua proxy Lazada và mua proxy TikTok Shop.
Lưu ý pháp lý và đạo đức khi cào dữ liệu Shopee
Thu thập dữ liệu công khai phục vụ nghiên cứu là việc phổ biến, nhưng cần làm có trách nhiệm.
Chỉ dữ liệu công khai
Không đăng nhập tài khoản người khác, không thu thập dữ liệu sau đăng nhập không thuộc về mình, không lấy thông tin cá nhân của người mua.
Không gây tải cho sàn
Gửi yêu cầu với tần suất hợp lý, tránh giờ cao điểm như các đợt siêu sale. Gây ảnh hưởng tới hoạt động của sàn vừa sai về đạo đức vừa có thể dẫn tới hậu quả pháp lý.
Cẩn trọng khi dùng lại nội dung
Ảnh sản phẩm, mô tả do người bán tạo có thể thuộc quyền sở hữu của họ. Dùng dữ liệu để phân tích thì khác với sao chép nguyên ảnh, mô tả để đăng bán. Không dùng dữ liệu cào được để sao chép shop khác.
Tham khảo tư vấn khi dùng cho mục đích thương mại
Nếu dữ liệu được bán lại hoặc dùng trong sản phẩm thương mại, nên tham khảo ý kiến người có chuyên môn pháp lý về điều khoản sử dụng và quy định bảo vệ dữ liệu cá nhân hiện hành.
Chi phí của một dự án cào dữ liệu Shopee
Ước tính chi phí giúp chọn cách làm phù hợp với ngân sách.
Hạng mục |
Tiện ích có sẵn |
Tự viết mã |
|---|---|---|
Phần mềm |
Thuê bao hằng tháng |
Miễn phí (mã nguồn mở) |
Proxy |
Thường đã gồm hoặc không cần |
Theo số IP hoặc dung lượng |
Máy chủ |
Không cần |
VPS chạy định kỳ |
Thời gian |
Ít |
Phát triển ban đầu và bảo trì |
Với khối lượng nhỏ, tiện ích có sẵn rẻ hơn. Khối lượng lớn và lâu dài, tự viết mã kèm proxy thường tiết kiệm hơn. Cách tính chi phí proxy có trong bài cách tính chi phí mua proxy.
Câu hỏi thường gặp về cào dữ liệu Shopee
Cào dữ liệu Shopee có hợp pháp không
Thu thập dữ liệu công khai cho nghiên cứu là việc phổ biến, nhưng tính hợp pháp phụ thuộc cách làm, loại dữ liệu và mục đích sử dụng. Đọc điều khoản của Shopee, không thu thập thông tin cá nhân, không gây tải cho sàn, và tham khảo tư vấn pháp lý khi dùng cho mục đích thương mại.
Có cần proxy để cào dữ liệu Shopee không
Với vài chục sản phẩm thì không. Với hàng nghìn sản phẩm chạy định kỳ, proxy Việt Nam giúp chia tải và giảm bị chặn. Proxy không thay thế cho tần suất hợp lý.
Vì sao công cụ hôm qua chạy, hôm nay không lấy được dữ liệu
Shopee thay đổi giao diện và cơ chế chống bot thường xuyên. Kiểm tra trang còn đúng cấu trúc không, có thử thách xác minh mới không, IP có bị chặn không.
Dùng API chính thức thay cho cào được không
API Shopee Open Platform dành cho người bán quản lý shop của mình, không cung cấp dữ liệu của shop khác. Nếu nhu cầu là dữ liệu shop của chính mình, nên dùng API thay vì cào.
Nên chạy công cụ vào giờ nào
Giờ thấp điểm như sáng sớm hoặc đêm khuya ít người mua, máy chủ ít tải, khả năng bị giới hạn thấp hơn. Tránh chạy đúng các khung giờ khuyến mãi lớn trừ khi mục đích là theo dõi giá trong khuyến mãi, khi đó giảm số sản phẩm theo dõi xuống chỉ những mã quan trọng nhất.
Lưu dữ liệu ở đâu cho tiện phân tích
Khối lượng nhỏ có thể lưu bảng tính. Khi theo dõi hàng nghìn sản phẩm mỗi ngày, cơ sở dữ liệu như PostgreSQL hay SQLite giúp truy vấn theo thời gian nhanh hơn nhiều. Thiết kế bảng có mã sản phẩm, mã shop, thời điểm, giá, số đã bán là đủ cho phần lớn phân tích giá.
Tổng kết
Cào dữ liệu Shopee giúp người bán và đơn vị nghiên cứu nắm giá, mức cạnh tranh và phản hồi của người mua. Chọn cách làm theo khối lượng và kỹ năng, chỉ thu thập dữ liệu công khai, giữ tần suất hợp lý, dùng proxy Việt Nam để chia tải và làm sạch dữ liệu trước khi phân tích. Cần IP Việt Nam ổn định cho dự án nghiên cứu thị trường, anh em liên hệ Proxy.vn - Nhà cung cấp dịch vụ proxy chất lượng hàng đầu Việt Nam để được tư vấn.
