如何使用 robots.txt 檔案來控制網站的存取權？

robots.txt 檔案可限制檢索網頁的搜尋引擎漫遊器 (即所謂的「bot」)。 這些漫遊器是自動化的，在存取網站的網頁之前，漫遊器會先檢查是否有防止它們存取特定網頁的 robots.txt 檔案存在。

只有在您的網站包含了您不希望搜尋引擎建立索引的內容時，您才會需要 robots.txt 檔案。 如果您希望搜尋引擎為您網站的所有內容建立索引，就不需要 robots.txt 檔案 (甚至也不需要空白的 robots.txt 檔案)。

如需詳細資訊，請參閱：

• 要將 robots.txt 檔案放在哪裡？
• 如何建立 robots.txt 檔案?
• 如何攔截或允許 Googlebot？
• 如何使用漫遊器中繼標記？
• 如何攔截我的整個網站？
• 如何攔截我網站上的某個目錄或網頁？
• 如何防止對我網站的網頁建立快取？
• 我不想讓網站上的某些網頁加入索引，但想要在這些網頁上顯示 AdSense 廣告。 我可以這樣做嗎？
• 我不想列出所有要攔截的檔案。 我可以使用模式媒合嗎？
• 如何確定我的檔案是否確實可攔截或允許我想要的項目？
• 我已變更 robots.txt 檔案以攔截目前已建立索引的網頁。 如何從索引移除這些網頁？