คำสั่งไม่ให้ bot เก็บ index หน้านั้นๆ ของเว็บไซต์

คำสั่งไม่ให้ bot เก็บ index หน้านั้นๆ ของเว็บไซต์

ไม่ให้ บอททุกตัว เก็บ index
<meta name="robots" content="noindex">
<meta name="robots" content="noindex,nofollow">

กรณี ไม่ให้เฉพาะ บอท ของ google เก็บ index ใช้คำสั่งนี้
<meta name="googlebot" content="noindex">

อีกวิธีหนึ่ง ใช้ robots.txt

ถ้าใช้ robots.txt ให้เพิ่ม Disallow ลงไป ว่าไม่ให้เก็บหน้าไหน
ถ้าเว็บเขียนเองก็ใส่ meta tag ตามด้านบน
ถ้าใช้ cms เช่น wordpress จะมีให้ติ๊กว่า ให้บอทเก็บหรือไม่เก็บ ก็ติ๊กที่ noindex เป็นต้น หากไม่มี option นี้ก็ต้องใช้ plugin เกี่ยวกับ SEO

ข้อสังเกตุ
ถ้า Disallow ที่ robots.txt Google จะไม่ Crawl เลย ส่งผลให้ link อื่นๆ จากหน้านั้นไม่ถูกตามไปด้วย

กรณีที่ใช้ <meta name="robots" content="noindex"> ที่หน้านั้น Google จะ crawl ตามปกติ แต่ไม่ index ใน search engine