如何在 WordPress 中編輯 robots.txt（使用和不使用插件）

已發表: 2023-05-25

您是否正在尋找在 WordPress 中編輯 robots.txt 的最有效方法？ 如果您想讓搜索引擎抓取工具知道他們應該抓取和索引您網站的頁面和部分，它們是至關重要的。

即使 WordPress 默認為您的網站生成一個 robots.txt 文件，您可能仍需要更改它以管理搜索引擎可以查看的內容。 如果您不熟悉 robots.txt，請不要擔心。 我們將解釋什麼是 robots.txt 以及為什麼必須編輯它，以及使用本教程在您的 WordPress 網站上編輯它的各種方法。

因此，讓我們深入了解 robots.txt 是什麼。

什麼是 Robots.txt？

Robots.txt 是您網站根目錄中的一個純文本文件，其中包含網絡機器人或機器人應該在您網站的哪些頁面或區域上抓取和索引的說明。 該文件告訴搜索引擎是否應根據網站的具體規定對頁面或部分進行索引。

例如，網絡爬蟲（如 Google 網絡爬蟲）會定期檢查網站以更新其頁面索引。 這些來自 Google 的網絡爬蟲，也稱為 Googlebot，按照 robots.txt 文件中的說明檢查網站。

robots.txt 文件的主要目的是幫助網站管理員控制搜索引擎可以在其網站上訪問的信息。 您可以使用該文件來防止機器人訪問特定站點或目錄。 但請記住，除了 Googlebot 和其他著名的網絡爬蟲之外，某些機器人可能不會遵循文件中的指南。

為什麼要編輯 Robots.txt 文件？

在 WordPress 中編輯 robots.txt 文件有幾個好處。 以下是一些注意事項：

  • 阻止不需要的機器人程序：某些機器人程序可能對您的網站沒有好處，或者可能會消耗您服務器上的寶貴資源。 這可能會導致網站加載時間變慢並降低您的網站性能。 因此，編輯您的 robots.txt 文件可以幫助您阻止不需要的機器人抓取您的網站並提高網站的整體速度。
  • 保護敏感信息：您網站上的某些頁面可能包含您不希望搜索引擎索引的敏感信息。 這可能包括個人數據、機密商業信息、受密碼保護的內容，甚至是與法律或合規相關的內容。
    您可以通過編輯 robots.txt 文件來防止這些頁面被抓取和編入索引。 這甚至有助於保護您網站的隱私和安全。
  • 將機器人定向到特定頁面：您還可以使用 robots.txt 將機器人定向到您網站上您希望搜索引擎抓取和索引的特定頁面。 這使您可以優先考慮要在搜索引擎結果中排名更高的頁面。
  • 防止索引重複內容：您的網站上可能有包含相似內容的頁面，例如類別或標籤頁面。 如果是這樣，您可以使用 robots.txt 文件來防止搜索引擎機器人將它們編入索引。 這有助於避免對您網站的搜索引擎排名產生負面影響的重複內容問題。

現在您已了解什麼是 robots.txt 文件以及它們為何必不可少，讓我們繼續下一節，我們將向您展示如何對其進行自定義。

如何在 WordPress 中編輯 Robots.txt

您可以在 WordPress 中以3 種主要方式編輯 robots.txt 文件：

  1. 使用 FTP 客戶端
  2. 面板
  3. 帶插件

我們將詳細介紹這些方法中的每一種。 但是，如果您使用FTP 客戶端或 cPanel 方法，則必須先手動創建一個 robots.txt 文件。

當您啟動網站時，WordPress 默認會創建一個虛擬的 robots.txt 文件。 可以通過在域末尾添加路徑“ /robots.txt ”來訪問它。

例如，您可以使用以下鏈接訪問 QuadLayers 的 robots.txt 文件：“https://quadlayers.com/robots.txt”。

quadlayers 機器人文件在 wordpress 中編輯 robots.txt

但是，我們不使用默認的 robots.txt 文件。 它已被編輯以滿足 QuadLayers 的特定需求。 但是 WordPress 創建的默認 robots.txt 文件僅包含以下信息：

 用戶代理： *
不允許：/wp-admin/
允許：/wp-admin/admin-ajax.php

不幸的是，您無法編輯此文件，因為它是虛擬的。 要編輯 WordPress 網站的 robots.txt 文件，您必須手動創建一個。

為此，您可以使用任何文本編輯器創建一個空文件並將該文件另存為“ robots.txt ”。

或者，如果您想使用 SEO 插件編輯文件，可以通過插件自動完成。 我們將在本指南的後面部分了解這一點。

儘管如此，無論您使用何種方法，您的 robots.txt 文件都必須包含相同的信息。 因此，讓我們看看 robots.txt 文件中必須包含的內容。

Robots.txt 文件中應包含哪些內容？

為確保搜索引擎正確索引您的網站，您可以在 robots.txt 文件中包含以下代碼命令或指令：

  • 用戶代理：這標識了指令適用的搜索引擎或機器人。 您可以在 robots.txt 文件中包含一個或多個用戶代理，具體取決於您要控制的機器人。 例如，“User-agent: Googlebot”指的是谷歌的網絡爬蟲。
  • Disallow：該指令告訴機器人搜索引擎機器人不應抓取或索引哪些頁面或目錄。 您可以指定單個頁面或整個目錄。 例如，“Disallow: /wp-admin/”將阻止所有機器人爬行 WordPress 管理目錄中的頁面。
  • 站點地圖：該指令告訴機器人在哪裡可以找到您網站的站點地圖文件。 站點地圖文件列出了您希望搜索引擎索引的站點上的所有頁面。

您還可以在 robots.txt 文件中使用“允許”指令。 它告訴機器人他們應該抓取或索引哪些頁面或目錄。 但是，請記住它是可選的，只應在必要時使用。

以下是基本 robots.txt 文件的示例：

 用戶代理： *
不允許：/wp-admin/
不允許：/wp-includes/
站點地圖：https://www.example.com/sitemap.xml

在此示例中，用戶代理設置為“*”，這意味著說明適用於所有機器人。 “disallow”指令阻止機器人抓取 WordPress 管理和“wp-include”目錄。 同樣，站點地圖指令指定站點地圖文件的位置。

現在您已經基本了解了 robots.txt 文件中包含的內容，您可以添加所有您不希望機器人抓取或索引的網頁。 最後，保存文件。

1) 使用 FTP 客戶端編輯 Robots.txt

要使用 FTP 客戶端在 WordPress 中編輯 robots.txt，您必須安裝 FTP 客戶端並連接您的網站。 您可以使用許多 FTP 客戶端，例如 FileZilla 和 Cyber​​duck。 但我們將在本教程中使用FileZilla 。

1.1) 將您的 WordPress 網站連接到 FTP

安裝 FTP 客戶端后，打開應用程序並轉到文件 > 站點管理器。 您還可以通過按鍵盤上的Ctrl+S打開站點管理器。

然後，單擊“新建站點”並在“我的站點”下輸入您的站點名稱。

現在，打開“常規”選項卡並輸入您的站點憑據。 您可以從託管服務獲取將您的網站連接到 FileZilla 的憑據。

輸入憑據後，單擊“連接” 。

連接站點後，您可以從您的計算機訪問該站點的文件目錄。 因此，讓我們繼續將 robots.txt 文件從您的計算機上傳到您的網站。

1.2) 將 Robots.txt 文件上傳到 WordPress

將站點與 FTP 客戶端連接後，您必須導航到站點的根目錄，因為這是 robots.txt 文件所在的位置。

根文件也稱為“ public_html ”文件。

您可以在此處上傳最近創建的 robots.txt 文件。 如果此文件中已存在 robots.txt 文件，請替換它。

ftp filezilla 在 wordpress 中編輯 robots.txt

就是這樣！

現在您所要做的就是通過在域末尾添加“/robots.txt”路徑來測試 robots.txt 文件，就像我們在前面的示例中向您展示的那樣。

2) 使用 cPanel 編輯 Robots.txt

使用 cPanel 編輯 robots.txt 文件與使用 FTP 客戶端的方法非常相似。 首先，您必須登錄到您網站的控制面板。 同樣，您的託管服務應該已經提供了所有必要的登錄憑據。

登錄到 cPanel 後，滾動到“文件”部分並單擊“文件管理器” 。

然後，導航到“ public_html ”文件目錄並在此處上傳最近創建的 robots.txt 文件。 同樣，如果此處已存在 robots.txt 文件，則需要將其替換為新編輯的文件。

上傳到 cpanel 在 wordpress 中編輯 robots.txt

最後，通過在您的域末尾添加“/robots.txt”路徑來測試您的 robots.txt 文件。

3) 使用插件編輯 Robots.txt

如果您想節省大量時間和麻煩來編輯 robots.txt 頁面，您還可以使用插件。 Yoast SEO、All in One SEO 和 Rank Math SEO 等多個 SEO 插件允許您創建和編輯 robots.txt 文件。

如果您需要更多信息來幫助您決定要使用的插件，您可以查看我們最好的 WordPress SEO 插件的完整列表。

但我們將使用Rank Math SEO插件進行此演示。 它是最流行的 SEO 插件之一，具有非常簡單的界面來編輯 robots.txt 文件。 因此，讓我們從安裝插件開始。

在 wordpress 中排名數學編輯 robots.txt

3.1) 安裝並激活插件

要安裝該插件，您必須先從您的 WordPress 儀表板轉到插件> 添加並蒐索插件的關鍵字。 在搜索引擎中看到該插件後，單擊立即安裝。 安裝只需幾分鐘。

安裝完成後，單擊“激活”以激活插件。

如果您想使用任何高級插件，則必須手動上傳。 您可以查看我們關於手動安裝 WordPress 插件的詳細指南，了解更多信息。

此外，如果您在設置 Rank Math SEO 時遇到任何問題，我們甚至有關於如何設置 Rank Math 的具體指南。

3.2) 編輯 Robots.txt 文件

激活插件後，從 WordPress 儀表板轉到Rank Math > General Settings ，然後選擇Edit robots.txt 文件選項卡。 您可以看到該插件提供了文本編輯器，供您編輯本節中的 robots.txt 文件。

在這裡，您必鬚根據您希望機器人抓取和索引的網頁添加所有代碼和命令。 如果您需要任何幫助，我們在前面的步驟之一中提供了本教程中的所有必要指南。

在 wordpress 中排名數學編輯器編輯 robots.txt

為 robots.txt 文件添加所有必需的命令和指令後，單擊Save Changes 。

偉大的！ 現在，如果您在域的末尾添加“/robots.txt”路徑，您將看到該文件已相應更新。 因此，搜索引擎機器人將僅瀏覽您根據 robots.txt 文件允許的網頁。

結論

這就是您在 WordPress 中創建和編輯 robots.txt 文件的方法。 如果您不希望搜索引擎機器人瀏覽您網站的敏感或重複內容，則必須這樣做。 robots.txt 文件還可用於指示機器人抓取您網站的特定頁面並對其編制索引。

總而言之，您可以使用三種主要方式編輯 robots.txt 文件：

  • 使用 FTP 客戶端
  • 面板
  • 帶插件

使用FTP 客戶端和 cPanel 非常相似。 您所要做的就是登錄到 cPanel 或將您的網站與 FTP 客戶端連接並上傳 robots.txt 文件。 然後，您必須上傳您之前手動創建的 robots.txt 文件。

另一方面，如果您使用插件，robots.txt 文件將自動添加到您的網站。 這些插件甚至提供了一個文本編輯器來幫助您編輯 robots.txt 文件。

那麼您現在可以為您的網站編輯 robots.txt 文件嗎？ 在評論中讓我們知道您是否嘗試過。

同時，如果您覺得這篇文章有幫助，您可以使用以下更多帖子來自定義或改進您的 WordPress 網站：

  • 如何改進 WordPress SEO：9 種方法
  • 最佳 WordPress SSL 插件（免費和付費）
  • 如何在 WordPress 中添加元描述