如何使用 robots.txt 檔案來控制網站的存取權?
來源:google
robots.txt 檔案可限制檢索網頁的搜尋引擎漫遊器 (即所謂的「bot」)。 這些漫遊器是自動化的,在存取網站的網頁之前,漫遊器會先檢查是否有防止它們存取特定網頁的 robots.txt 檔案存在。
只有在您的網站包含了您不希望搜尋引擎建立索引的內容時,您才會需要 robots.txt 檔案。 如果您希望搜尋引擎為您網站的所有內容建立索引,就不需要 robots.txt 檔案 (甚至也不需要空白的 robots.txt 檔案)。
如需詳細資訊,請參閱: