Proxy Screaming Frog: Cấu hình crawl SEO không bị chặn
Proxy Screaming Frog giúp SEO Spider gửi yêu cầu qua một máy chủ trung gian thay vì IP văn phòng của anh em. Người làm SEO cần tính năng này khi website khách chặn IP lạ, khi crawl phiên bản theo quốc gia hoặc khi văn phòng bắt buộc đi qua proxy công ty. Bài này ProxyVN hướng dẫn cấu hình đúng theo tài liệu chính thức, kèm cách tránh bị chặn khi crawl.
Tổng quan về proxy Screaming Frog
Screaming Frog SEO Spider là công cụ crawl website phổ biến nhất trong giới SEO. Theo trang giới thiệu SEO Spider, công cụ quét website như một con bot, thu thập tiêu đề, thẻ meta, mã trạng thái, liên kết, chuyển hướng và nhiều dữ liệu khác để kiểm tra kỹ thuật SEO. Proxy Screaming Frog là tính năng cho phép toàn bộ yêu cầu crawl đi qua một proxy.
Khi nào cần proxy Screaming Frog
Các tình huống thường gặp gồm:
- Website chặn IP lạ: máy chủ hoặc tường lửa của khách chặn IP văn phòng sau vài trăm yêu cầu.
- Crawl phiên bản theo quốc gia: website hiển thị nội dung, giá, ngôn ngữ khác nhau tuỳ IP người truy cập.
- Mạng công ty bắt buộc proxy: máy làm việc chỉ ra Internet qua proxy của công ty.
- Tách IP cá nhân khỏi hoạt động crawl: không muốn IP văn phòng bị đánh dấu là bot trên các website lớn.
Proxy không thay thế việc crawl có trách nhiệm
Proxy giúp đổi IP, nhưng không biến hành vi crawl quá nhanh thành hợp lệ. Website vẫn có thể chặn proxy nếu tốc độ quá cao. Cấu hình tốc độ, User-Agent và tôn trọng robots.txt quan trọng không kém proxy. Phần sau đi vào từng cấu hình.
Vị trí cài đặt proxy Screaming Frog
Nhiều người tìm proxy trong menu Configuration nhưng không thấy. Theo hướng dẫn cấu hình SEO Spider, cài đặt proxy nằm ở File > Settings > Proxy trên Windows và Linux, còn trên macOS nằm ở Screaming Frog SEO Spider > Settings > Proxy.
Vị trí cài đặt proxy
Các bước bật proxy
- Mở SEO Spider, vào File > Settings > Proxy (hoặc menu tương ứng trên macOS).
- Tích ô Use Proxy Server.
- Nhập địa chỉ và cổng của proxy.
- Nếu proxy có tài khoản, nhập tài khoản và mật khẩu ở các ô xác thực.
- Bấm OK để lưu.
- Khởi động lại SEO Spider để thay đổi có hiệu lực.
Để tắt proxy, vào lại cùng vị trí và bỏ tích Use Proxy Server, rồi khởi động lại.
Ba giới hạn cần nhớ
Tài liệu chính thức nêu rõ ba giới hạn của proxy Screaming Frog:
Giới hạn |
Ý nghĩa thực tế |
|---|---|
Chỉ cấu hình được một proxy |
Không có danh sách proxy, không tự xoay giữa nhiều IP |
Phải khởi động lại để áp dụng |
Đổi proxy giữa chừng không có tác dụng với lần crawl đang chạy |
Không thêm được ngoại lệ |
Hoặc toàn bộ lưu lượng HTTP, HTTPS đi qua proxy, hoặc không có gì đi qua |
Ba giới hạn này quyết định cách chọn loại proxy. Vì chỉ có một proxy, muốn xoay IP, anh em cần proxy xoay có một cổng cố định, IP phía sau tự đổi.
Proxy công ty và chứng chỉ tin cậy
Một số proxy công ty kiểm tra HTTPS bằng cách ký lại chứng chỉ TLS. Tài liệu Screaming Frog gọi đây là proxy kiểu Man In The Middle. Kết nối sẽ bị từ chối nếu chứng chỉ không đến từ nhà phát hành tin cậy. Công ty thường cung cấp chứng chỉ X.509 để thêm vào thư mục Trusted Certificates của SEO Spider, chấp nhận đuôi .crt, .pem, .cer và .der.
Chọn loại proxy Screaming Frog phù hợp
Vì chỉ dùng được một proxy, việc chọn đúng loại proxy Screaming Frog quan trọng hơn so với các công cụ hỗ trợ danh sách proxy.
Proxy datacenter tĩnh
Phù hợp khi crawl website của chính anh em hoặc của khách đã cho phép, chỉ cần một IP cố định để khách thêm vào danh sách cho phép trên tường lửa. Tốc độ cao, ổn định, chi phí thấp. Đây là cách làm chuyên nghiệp nhất khi audit cho khách: xin khách whitelist IP proxy thay vì cố vượt tường lửa.
Proxy dân cư tĩnh cho crawl theo quốc gia
Phù hợp khi website đánh giá IP datacenter khắt khe hơn, hoặc cần xem nội dung như người dùng thật ở một quốc gia. IP dân cư ít bị chặn hơn nhưng tốc độ thấp hơn datacenter.
Proxy xoay một cổng
Phù hợp khi crawl website lớn cần phân tán yêu cầu qua nhiều IP. Vì Screaming Frog chỉ nhận một proxy, proxy xoay với một cổng cố định và IP phía sau thay đổi là cách duy nhất để xoay IP. Lưu ý một số website liên kết phiên theo IP, đổi IP giữa chừng có thể làm dữ liệu thiếu nhất quán. Bài sticky session proxy là gì giải thích cách chọn thời gian giữ IP.
Cấu hình tốc độ để proxy Screaming Frog không bị chặn
Tốc độ là yếu tố quyết định website có chặn crawl hay không. Proxy Screaming Frog tốt đến đâu cũng bị chặn nếu tốc độ quá cao.
Tốc độ crawl hợp lý
Max Threads
Theo tài liệu, SEO Spider mặc định crawl với 5 luồng để không làm quá tải máy chủ. Mỗi luồng là một yêu cầu đồng thời. Với website nhỏ trên hosting chia sẻ, giảm xuống 1 đến 2 luồng. Với website lớn có hạ tầng mạnh và đã được phép, có thể tăng dần.
Max URI/s
Cấu hình Configuration > Speed cho phép giới hạn số URL mỗi giây. Đặt Max URI/s bằng 1 nghĩa là crawl một URL mỗi giây. Khi giới hạn bằng URI/s, có thể để nguyên Max Threads. Đây là cách kiểm soát tốc độ dễ hiểu nhất khi làm việc với website nhạy cảm.
Dấu hiệu tốc độ quá cao
Khi thấy nhiều mã 429 Too Many Requests, 403 Forbidden, 503 Service Unavailable xuất hiện giữa chừng, tốc độ đang quá cao hoặc IP đã bị đánh dấu. Dừng crawl, giảm tốc độ, chờ một thời gian rồi tiếp tục. Bài mua proxy bị lỗi 429 phân tích ngưỡng request trên mỗi IP, còn bài vì sao mua proxy bị block phân biệt 403, 429 và CAPTCHA.
Cấu hình User-Agent và HTTP header khi dùng proxy Screaming Frog
Ngoài IP, website nhìn vào User-Agent và header để quyết định cách phản hồi. Cấu hình đúng giúp dữ liệu crawl phản ánh đúng điều người dùng hoặc Googlebot nhìn thấy.
User-Agent và HTTP header
User-Agent
Tài liệu cho biết mặc định SEO Spider dùng User-Agent riêng của nó, có sẵn các lựa chọn Googlebot, Bingbot, nhiều trình duyệt và tuỳ chỉnh. Có hai cấu hình tách biệt: HTTP Request User-Agent đặt header gửi đi, Robots User-Agent quyết định tuân theo chỉ thị robots.txt nào.
Một số website chặn User-Agent của công cụ crawl. Đổi sang User-Agent trình duyệt có thể giúp crawl được, nhưng hãy làm điều này với website của mình hoặc khi được phép. Giả làm Googlebot với website của người khác có thể bị coi là hành vi xấu, nhiều website còn xác minh Googlebot bằng DNS ngược.
HTTP Header
Mục Configuration > HTTP Header cho phép thêm header tuỳ chỉnh như accept-language, cookie, referer. Tài liệu đưa ví dụ gửi header Accept-Language để crawl nội dung thay đổi theo ngôn ngữ. Kết hợp với proxy đúng quốc gia, anh em xem được phiên bản website mà người dùng ở nước đó nhìn thấy.
Cookie
Mục Configuration > Spider > Advanced > Cookie Storage có ba chế độ: Session only là mặc định, cookie chỉ dùng trong lần tải trang; Persistent nhớ cookie trong suốt lần crawl và dùng chung giữa các luồng; Do Not Store không nhận cookie. Với website cần giữ phiên, ví dụ chọn quốc gia qua cookie, dùng Persistent.
Crawl website theo quốc gia bằng proxy Screaming Frog
Website đa quốc gia thường chuyển hướng hoặc thay nội dung theo IP. Đây là trường hợp proxy Screaming Frog phát huy rõ nhất.
Crawl website theo quốc gia
Quy trình crawl theo từng quốc gia
- Chuẩn bị proxy cho từng quốc gia cần kiểm tra.
- Cấu hình proxy của quốc gia thứ nhất, khởi động lại SEO Spider.
- Đặt header Accept-Language tương ứng.
- Crawl, lưu kết quả với tên có mã quốc gia.
- Đổi proxy sang quốc gia tiếp theo, khởi động lại, lặp lại quy trình.
Vì phải khởi động lại mỗi lần đổi proxy, nên lên kế hoạch crawl theo từng quốc gia thay vì đổi qua đổi lại.
Những gì cần so sánh
So sánh giữa các phiên bản: chuyển hướng theo IP, thẻ hreflang, canonical, tiêu đề và mô tả theo ngôn ngữ, mã trạng thái. Lỗi phổ biến là website chuyển hướng cứng theo IP khiến Googlebot, vốn crawl chủ yếu từ Mỹ, không thấy phiên bản quốc gia khác. Kiến thức về theo dõi thứ hạng theo vùng có trong bài mua proxy cho SERP tracking.
Crawl phiên bản Việt Nam từ nước ngoài
Nếu anh em làm việc từ nước ngoài cho website Việt Nam, IP nước ngoài có thể nhận phiên bản tiếng Anh hoặc bị chặn. Proxy Việt Nam giúp xem đúng phiên bản người dùng trong nước thấy. Anh em có thể mua proxy datacenter hoặc dân cư Việt Nam tại ProxyVN cho nhu cầu này.
Tôn trọng robots.txt khi dùng proxy Screaming Frog
Proxy đổi IP nhưng không thay đổi trách nhiệm của người crawl. SEO Spider mặc định tôn trọng robots.txt, tức URL bị chặn sẽ không được crawl.
Ba chế độ robots.txt
Theo tài liệu, ở Configuration > Robots.txt có ba lựa chọn: Respect robots.txt là mặc định; Ignore robots.txt không tải tệp robots.txt; Ignore robots.txt but report status tải và báo cáo nhưng không tuân theo. URL nội bộ bị chặn hiển thị mã 0 và "Blocked by Robots.txt".
Khi nào được bỏ qua robots.txt
Chỉ bỏ qua robots.txt với website của chính anh em hoặc khi khách đã đồng ý, ví dụ để kiểm tra trang staging. Với website người khác, tôn trọng robots.txt là chuẩn mực nghề nghiệp. Tài liệu giới thiệu robots.txt của Google giải thích vai trò của tệp này.
Robots.txt tuỳ chỉnh
SEO Spider cho dùng robots.txt tuỳ chỉnh chỉ cho lần crawl, không ảnh hưởng tệp thật trên website. Tính năng này hữu ích khi muốn thử xem thay đổi robots.txt sẽ ảnh hưởng thế nào trước khi áp dụng thật.
Crawl website có đăng nhập qua proxy Screaming Frog
Một số website cần đăng nhập để xem nội dung, ví dụ khu vực thành viên, trang quản trị. SEO Spider hỗ trợ hai kiểu xác thực.
Xác thực chuẩn Basic và Digest
Tài liệu cho biết kiểu này không cần cài đặt trước, SEO Spider tự nhận ra khi gặp trang cần đăng nhập. Anh em cũng có thể nhập trước thông tin ở thẻ Standards Based bằng nút Add, gồm URL, tài khoản và mật khẩu. Tính năng này không cần giấy phép.
Xác thực qua biểu mẫu web
Với trang đăng nhập dạng biểu mẫu, dùng thẻ Forms Based, đăng nhập qua trình duyệt Chromium tích hợp. Tính năng này cần giấy phép. Tài liệu cảnh báo SEO Spider bấm vào mọi liên kết, có thể kích hoạt hành động như đăng xuất hay xoá dữ liệu. Nên dùng tài khoản chỉ có quyền xem.
Lưu ý khi kết hợp với proxy
Khi đăng nhập qua proxy, website ghi nhận IP proxy cho phiên đăng nhập. Không đổi proxy giữa chừng vì phiên có thể bị huỷ. Với proxy xoay, chọn thời gian giữ IP dài hơn thời gian crawl. Tài liệu cũng lưu ý đăng nhập tự động có thể lỗi khi token hết hạn hoặc có xác minh hai bước.
Sửa lỗi proxy Screaming Frog thường gặp
Lỗi |
Nguyên nhân khả dĩ |
Cách xử lý |
|---|---|---|
Mọi URL báo lỗi kết nối |
Sai địa chỉ, cổng hoặc proxy chết |
Kiểm tra proxy bằng curl, nhập lại |
Đổi proxy không có tác dụng |
Chưa khởi động lại SEO Spider |
Khởi động lại sau khi lưu |
Lỗi chứng chỉ khi crawl HTTPS |
Proxy công ty ký lại chứng chỉ |
Thêm chứng chỉ vào Trusted Certificates |
Nhiều mã 403, 429 |
Tốc độ quá cao, IP bị chặn |
Giảm Max URI/s, đổi IP, chờ |
Trang nội bộ cũng đi qua proxy |
Không thêm được ngoại lệ |
Tắt proxy khi crawl mạng nội bộ |
Nội dung khác mong đợi |
Website chuyển hướng theo IP |
Kiểm tra quốc gia của proxy, header ngôn ngữ |
Kiểm tra proxy bằng curl trước khi crawl
curl -x http://user01:matkhau01@103.x.x.11:8080 -I https://example.comTham số -I chỉ lấy header, giúp xem nhanh mã trạng thái website trả về khi đi qua proxy. Nếu curl nhận 403 thì SEO Spider cũng sẽ bị chặn với cùng proxy. Cách dùng curl có trong bài cURL proxy là gì.
Kiểm tra IP proxy có bị đánh dấu
Nếu một proxy liên tục bị chặn trên nhiều website, IP có thể nằm trong danh sách đen. Bài cách kiểm tra proxy có bị blacklist không hướng dẫn tra cứu.
Proxy Screaming Frog trong lịch crawl tự động
SEO Spider hỗ trợ lập lịch và chạy bằng dòng lệnh. Khi chạy tự động, cấu hình proxy được giữ theo cài đặt của ứng dụng. Vài lưu ý giúp lịch crawl chạy ổn định.
Dùng proxy cố định cho lịch định kỳ
Lịch crawl hằng tuần nên dùng một proxy cố định để dữ liệu giữa các lần so sánh được. Đổi proxy giữa các lần crawl có thể làm thay đổi kết quả nếu website phản hồi khác theo IP.
Xuất cấu hình xác thực
Với website cần đăng nhập, tài liệu cho phép xuất tệp cấu hình xác thực .seospiderauthconfig từ thẻ Profiles để dùng cho lịch hoặc dòng lệnh với tham số auth-config. Tệp này được mã hoá AES-256. Vẫn nên bảo quản cẩn thận vì nó chứa quyền đăng nhập.
Theo dõi hạn proxy cho lịch crawl
Lịch crawl tự động sẽ thất bại âm thầm nếu proxy hết hạn. Ghi hạn proxy vào lịch làm việc, gia hạn trước vài ngày và kiểm tra lại kết nối sau khi gia hạn.
Proxy Screaming Frog so với cách làm SEO khác
Screaming Frog chỉ là một phần trong bộ công cụ SEO. Hiểu vai trò của proxy trong từng công cụ giúp anh em phân bổ ngân sách đúng.
Với công cụ theo dõi thứ hạng
Công cụ theo dõi thứ hạng cần nhiều IP theo vùng để lấy kết quả tìm kiếm. Khác với Screaming Frog chỉ crawl website, việc lấy kết quả tìm kiếm cần tốc độ thấp và IP đa dạng. Bài proxy local SEO bàn về đo thứ hạng Google Maps theo vị trí.
Với công cụ cào dữ liệu khác
Nếu cần xoay nhiều proxy, quản lý danh sách proxy, các công cụ như Scrapy linh hoạt hơn. Bài proxy Scrapy hướng dẫn cấu hình và xoay IP khi crawl bằng code. Còn với nhu cầu tổng quan kỹ thuật SEO, Screaming Frog với một proxy là đủ.
Kiểm tra JavaScript rendering khi dùng proxy Screaming Frog
Nhiều website hiện đại tạo nội dung bằng JavaScript. SEO Spider có chế độ render JavaScript bằng Chromium tích hợp. Khi bật chế độ này cùng proxy Screaming Frog, khối lượng yêu cầu tăng lên đáng kể và cần tính toán lại.
Rendering làm tăng số yêu cầu
Ở chế độ chỉ đọc HTML, mỗi trang thường là một yêu cầu. Ở chế độ render, trình duyệt tải thêm tệp JavaScript, CSS, hình ảnh, gọi API. Một trang có thể sinh ra hàng chục yêu cầu. Toàn bộ đi qua proxy, nên băng thông proxy tiêu tốn nhiều hơn và website thấy nhiều yêu cầu hơn từ cùng IP.
Giảm tốc độ khi bật rendering
Khi bật rendering, giảm Max Threads và Max URI/s so với chế độ HTML. Theo dõi mã trạng thái của tài nguyên phụ, không chỉ của trang chính. Nếu tài nguyên bị chặn, dữ liệu render sẽ thiếu, dẫn tới kết luận sai về nội dung trang.
Chọn proxy có băng thông phù hợp
Proxy tính phí theo băng thông sẽ tốn kém khi render nhiều trang. Proxy tính theo IP, không giới hạn băng thông hợp với crawl render quy mô lớn. Bài nên mua proxy theo port hay băng thông giúp chọn cách tính phí.
Quy trình audit website cho khách với proxy Screaming Frog
Với agency và freelancer SEO, audit website khách là công việc thường xuyên. Quy trình dưới đây giúp làm việc chuyên nghiệp, hạn chế bị chặn và giữ quan hệ tốt với bộ phận kỹ thuật của khách.
Bước 1: Thống nhất với khách trước khi crawl
Báo khách thời gian crawl, tốc độ dự kiến và IP sẽ dùng. Gửi IP proxy để khách thêm vào danh sách cho phép trên tường lửa hoặc dịch vụ chống bot. Cách này giúp crawl đầy đủ mà không phải đoán ngưỡng chặn.
Bước 2: Dùng proxy tĩnh riêng
Proxy tĩnh riêng có IP cố định, khách chỉ cần whitelist một lần. Không dùng proxy xoay cho audit khách vì IP thay đổi liên tục sẽ không nằm trong danh sách cho phép.
Bước 3: Crawl ngoài giờ cao điểm
Chọn khung giờ ít người truy cập, thường là đêm khuya theo múi giờ của website. Máy chủ có nhiều tài nguyên rảnh hơn, ít ảnh hưởng tới người dùng thật.
Bước 4: Lưu cấu hình theo khách
SEO Spider cho lưu và tải cấu hình. Lưu riêng cấu hình cho từng khách gồm tốc độ, User-Agent, header, xác thực. Lần audit sau tải lại cấu hình, dữ liệu giữa các lần sẽ so sánh được.
Bước 5: Ghi chú điều kiện crawl trong báo cáo
Trong báo cáo, ghi rõ IP, quốc gia của proxy, User-Agent, tốc độ, chế độ render. Người đọc hiểu kết quả được thu thập trong điều kiện nào, tránh hiểu nhầm khi so với dữ liệu từ công cụ khác.
Đọc dữ liệu crawl để biết proxy Screaming Frog có hoạt động tốt không
Sau mỗi lần crawl, dữ liệu trong SEO Spider cho biết proxy có làm ảnh hưởng tới kết quả hay không. Vài chỉ số dưới đây nên xem trước khi phân tích sâu.
Phân bổ mã trạng thái
Mở thẻ Response Codes, xem tỉ lệ 2xx, 3xx, 4xx, 5xx. Nếu đột nhiên có nhiều 403, 429 hoặc 5xx ở nửa sau lần crawl, website đã bắt đầu chặn proxy. Kết quả phần sau không đáng tin, cần crawl lại với tốc độ thấp hơn.
Thời gian phản hồi
Cột Response Time cho biết thời gian máy chủ phản hồi qua proxy. Thời gian tăng dần theo tiến trình crawl là dấu hiệu máy chủ đang chịu tải hoặc proxy đang chậm. So sánh với một lần crawl ngắn không dùng proxy để biết phần chậm nằm ở đâu.
Nội dung khác thường
Nếu tiêu đề hay nội dung nhiều trang giống hệt nhau, ví dụ cùng là trang CAPTCHA hoặc trang thông báo chặn, website đang trả trang chặn thay cho nội dung thật. Lọc theo tiêu đề để phát hiện nhanh. Bài proxy trả dữ liệu sai sau khi mua phân tích các nguyên nhân khiến dữ liệu thu thập bị sai lệch.
Câu hỏi thường gặp về proxy Screaming Frog
Screaming Frog có hỗ trợ proxy SOCKS5 không
Tài liệu mô tả việc nhập địa chỉ, cổng và thông tin xác thực mà không nêu rõ từng loại giao thức. Anh em thử với proxy HTTP trước vì đây là loại phổ biến nhất. Proxy của ProxyVN có cả HTTP và SOCKS5 trên cùng một IP.
Bản miễn phí Screaming Frog có dùng được proxy không
Bản miễn phí giới hạn số URL crawl. Phần cài đặt proxy nằm trong Settings của ứng dụng. Anh em kiểm tra trên phiên bản đang dùng, vì một số tính năng như xác thực biểu mẫu cần giấy phép.
Có nên dùng proxy để crawl website đối thủ không
Crawl trang công khai với tốc độ thấp, tôn trọng robots.txt là thực hành phổ biến trong phân tích đối thủ. Không crawl khu vực cần đăng nhập, không gây quá tải máy chủ, không vi phạm điều khoản sử dụng của website.
Xem thêm:
Tổng kết
Proxy Screaming Frog được bật ở File > Settings > Proxy, chỉ nhận một proxy, cần khởi động lại và không có ngoại lệ. Kết hợp proxy với tốc độ thấp, User-Agent, header ngôn ngữ và tôn trọng robots.txt để crawl ổn định. Cần IP cố định hoặc IP theo quốc gia, liên hệ Proxy.vn - Nhà cung cấp dịch vụ proxy chất lượng hàng đầu Việt Nam để chọn proxy Screaming Frog phù hợp.
