如何轻松优化WordPress Robots.txt？

介绍

有许多技术可以提高您网站的搜索引擎优化。 优化 WordPress Robots.txt 是最好的方法之一。 由于它允许搜索引擎扫描您的网站，因此 Robots.txt 文件是众所周知的强大 SEO 工具。 因此，您可以通过调整 Robots.txt 文件自由地改进站点的 SEO。 我们将在今天的这篇博文中明确介绍一些优化 WordPress Robots.txt 的方法。

Robots.txt文件的定义

以下是 WordPress 的 Robots.txt 文件的摘要。

现在让我们看一下 Robot.txt 文件的基本结构：

让我们为您定义 Robots.txt 文件中使用的术语：

• User-agent：爬虫的名字
• 禁止：阻止抓取网站的页面、文件夹或文件。
• 允许：启用目录、文件和页面抓取
• 站点地图（如果提供）：显示站点地图的位置：代表数字或字母。
• *：代表数字或字符
• $：您可以使用它来限制包含特定扩展名的网页，方法是站在该行的末尾。

让我们看下图来帮助您理解：

在 Robot.txt 示例中，我们允许搜索引擎抓取 WordPress 上传文件夹中的文件。

但是，我们限制搜索引擎访问登录名、卡片和照片文件夹。

最后，我们为它提供站点地图的 URL。

为什么要为您的 WordPress 网站创建 Robots.txt 文件？

如果没有 Robots.txt 文件，搜索引擎仍会抓取网站的每个页面并为其编制索引。 然而，他们会抓取您网站上的所有资料，而不仅仅是您指定的文件夹或页面。

出于两个主要原因，您应该为您的网站创建一个 Robots.txt 文件。 首先，您可以在它的帮助下毫不费力地管理您网站上的所有信息。 页面或目录是否应该被爬网或索引由您决定。 这意味着诸如插件文件、管理页面或主题目录之类的页面不会被搜索引擎抓取。 因此，它将有助于您网站的索引加载速度。

防止不需要的帖子或页面被搜索引擎索引的要求是另一个理由。 因此，您可以轻松方便地阻止 WordPress 页面或帖子出现在搜索结果中。

如何更高效地优化WordPress Robots.txt

在此教学博客中，我们将向您展示如何使用两种不同的方法在您的 WordPress 网站上创建和改进 Robots.txt 文件：

• 使用插件更改 Robots.txt 文件：All in One SEO
• 使用 FTP 手动编辑 Robots.txt 文件

要使 Robots.txt 文件更有效，请使用 All in One SEO 插件。

在 WordPress 市场上有几个 WordPress SEO 插件可以帮助您解决这个问题。 但在本文中，我们选择使用 All in One SEO（一个拥有超过 200 万用户的广受欢迎的插件）来帮助您。

让我们先通过选择Plugins -> Add New来安装它。 然后查找插件的名称，安装它，然后激活它。

完成几个简单的步骤后，您将返回到管理仪表板。 立即转到All in one SEO -> Tools 。

让我们切换 Robots.txt 编辑器部分中的启用自定义 Robots.txt按钮以使其处于活动状态。 开启后，您可以在 WordPress 中编辑默认的 Robots.txt 文件。

当我们向下滚动时，您会注意到该插件显示一个框，其中包含 Robots.txt 文件的预览。 这些是 WordPress 的默认规则。

通过选择“添加规则”按钮，您可以添加更多您自己的特定规则来帮助您网站的 SEO。

让我们在User-Agent字段中输入 * 以将规则应用于所有用户代理以添加新规则。

您只需要选择允许或不允许搜索机器人在下一阶段进行爬行。

之后不要忘记在“目录路径”字段中输入文件名或目录路径。

完成所有首选项后，让我们按下“保存更改”按钮。

您已经添加的所有附加规则现在将立即应用于 Robots.txt 文件。

使用FTP手动修改和优化WordPress Robots.txt

这是您可能会喜欢的一种不同的 WordPress Robots.txt 优化方法。 您必须使用 FTP 客户端编辑 Robots.txt 文件才能实现此目的。

为了方便使用 FPT 客户端，让我们首先建立与您的 WordPress 主机帐户的连接。 当您访问网站的根文件夹时，您可以很容易地注意到 Robots.txt 文件。 让我们通过单击鼠标右键来选择查看/编辑。

另一方面，如果找不到，您可能什么也没有。 因此，让我们首先通过使用鼠标右键选择创建新文件来为您的网站创建一个 Robots.txt 文件。

Robots.txt 文件是纯文本文件，因此您可以下载它并使用纯文本编辑器（如记事本或 TextEdit 等）对其进行编辑。 之后您只需将其上传回您网站的根文件夹即可。 看起来很容易，你不觉得吗？

确保您的 WordPress 站点的 Robots.txt 文件正在运行。

一旦准备好并配置好 Robots.txt 文件，就必须对其进行测试，以便识别和报告任何问题。 因此，您必须使用 Robots.txt 测试器工具对其进行测试。 试试 Google Search Console，我们强烈推荐它。

如果您想使用此服务，您必须确保您的网站已链接到 Google Search Console。 然后，您可以通过从选择列表中选择属性来使用机器人测试工具。 现在将自动添加您网站的 Robots.txt 文件。 如果有错误，它会提醒你。

结论

总体而言，优化 Robots.txt 文件的主要目标是阻止搜索机器人访问公众不需要的页面，包括插件文件夹或管理文件夹。 因此，阻止 WordPress 标签、类别或存档页面对您的 SEO 没有帮助。 换句话说，要为您的 WordPress 网站创建一个完美的 Robots.txt 文件，您应该遵循以下模式。

我们希望您会发现今天的博文对优化 WordPress Robots.txt 有所帮助。 请记住将其转发给您的熟人和其他网站管理员。 另外，如果您有任何问题，请在下方留言。 因此，我们会尽快回复您。 是时候优化 WordPress Robots.txt 了。 直到未来的博客，保重。

顺便说一下，我们有大量现代的、吸引人的、免费的 WordPress 主题，它们完全支持这个有用的功能。 我们去见他们，请其中一位重新设计您的网站