ลดอัตราการ Crawl ของ Google

โครงสร้างพื้นฐานของ Crawler ของ Google มีอัลกอริทึมที่ซับซ้อนซึ่งกำหนดอัตราการ Crawl ที่เหมาะสมสำหรับเว็บไซต์ เป้าหมายของเราคือทำการ Crawl หน้าเว็บในเว็บไซต์ของคุณให้มากที่สุดในการเข้าชมแต่ละครั้ง โดยไม่ทําให้เซิร์ฟเวอร์ของคุณทํางานหนักเกินไป ในบางกรณี การรวบรวมข้อมูลเว็บไซต์ของคุณโดย Google อาจทำให้โครงสร้างพื้นฐานทำงานหนักมาก หรือทำให้เกิดค่าใช้จ่ายไม่พึงประสงค์ในระหว่างที่เกิดความขัดข้อง คุณอาจเลือกที่จะลดจำนวนครั้งในการส่งคำขอจาก Crawler ของ Google เพื่อลดปัญหานี้

ทําความเข้าใจสาเหตุของการ Crawl ที่เพิ่มขึ้นอย่างรวดเร็ว

การ Crawl ที่เพิ่มขึ้นอย่างรวดเร็วอาจเกิดจากความไม่มีประสิทธิภาพของโครงสร้างของเว็บไซต์หรือไม่ก็เกิดจากปัญหาเกี่ยวกับเว็บไซต์ จากรายงานที่เราได้รับในช่วงที่ผ่านมา สาเหตุที่พบบ่อยที่สุด ได้แก่

• การกำหนดค่า URL ในเว็บไซต์อย่างไม่มีประสิทธิภาพ ซึ่งมักเกิดจากฟังก์ชันการทํางานบางอย่างของเว็บไซต์
  • การไปยังส่วนต่างๆ ตามข้อมูลประกอบหรือฟังก์ชันการจัดเรียงและการกรองอื่นๆ ของเว็บไซต์
  • ปฏิทินที่มี URL จำนวนมากสำหรับวันที่ที่เจาะจง
• เป้าหมายโฆษณา Search แบบไดนามิก

เราขอแนะนําอย่างยิ่งให้คุณตรวจสอบกับบริษัทโฮสติ้งและดูบันทึกการเข้าถึงล่าสุดของเซิร์ฟเวอร์เพื่อทําความเข้าใจแหล่งที่มาของการเข้าชม และดูว่าเข้าเกณฑ์สาเหตุที่พบบ่อยของการ Crawl ที่เพิ่มขึ้นอย่างรวดเร็วที่ระบุไว้ข้างต้นหรือไม่ จากนั้นดูคำแนะนำเกี่ยวกับการจัดการการ Crawl URL การไปยังส่วนต่างๆ ตามข้อมูลประกอบและการเพิ่มประสิทธิภาพการ Crawl

ลดการเข้าชมของ Crawler อย่างเร่งด่วน (สำหรับกรณีฉุกเฉิน)

หากต้องการลดอัตราการ Crawl เป็นระยะเวลาสั้นๆ อย่างเร่งด่วน (เช่น 2-3 ชั่วโมงหรือ 1-2 วัน) ให้ส่งรหัสสถานะการตอบสนองของ HTTP 500, 503 หรือ 429 แทนการส่ง 200 สำหรับคำขอทำการ Crawl โครงสร้างพื้นฐานการ Crawl ของ Google จะลดอัตราการ Crawl ของเว็บไซต์เมื่อพบ URL จำนวนมากที่มีรหัสสถานะการตอบกลับ HTTP 500, 503 หรือ 429 (เช่น หากคุณปิดใช้เว็บไซต์) อัตราการ Crawl ที่ลดลงจะส่งผลต่อทั้งชื่อโฮสต์ของเว็บไซต์ (เช่น subdomain.example.com) ทั้งการ Crawl URL ที่แสดงข้อผิดพลาด รวมถึง URL ที่แสดงเนื้อหา เมื่อจำนวนข้อผิดพลาดเหล่านี้ลดลง อัตรา การ Crawl จะเริ่มเพิ่มขึ้นอีกครั้งโดยอัตโนมัติ

คำขอพิเศษเพื่อลดอัตราการ Crawl

หากการแสดงข้อผิดพลาดต่อ Crawler ของ Google ในโครงสร้างพื้นฐานไม่สามารถทำได้ ให้ส่งคำขอพิเศษเพื่อรายงานปัญหาเกี่ยวกับอัตราการ Crawl ที่สูงผิดปกติ โดยระบุอัตราการ Crawl ที่เหมาะสมที่สุดสำหรับเว็บไซต์ในคำขอ คุณจะขอให้เพิ่มอัตราการ Crawl ไม่ได้ และอาจใช้เวลาหลายวันในการประเมินและดำเนินการตามคำขอ