很多wordpress站長(zhǎng)詢問(wèn)有關(guān)如何優(yōu)化robots.txt文件以改善SEO。

Robots.txt文件用于告訴搜索引擎如何抓取網(wǎng)站，這使其成為功能強(qiáng)大的SEO工具。

在本教程中，我們將介紹如何基于SEO創(chuàng)建一個(gè)完美的robots.txt文件。

什么是robots.txt文件？

Robots.txt是站長(zhǎng)可以創(chuàng)建的文本文件，用于告訴搜索引擎蜘蛛如何抓取網(wǎng)站頁(yè)面并將其編入索引。

它通常存儲(chǔ)在網(wǎng)站的根目錄（也稱為主文件夾）中。robots.txt文件的基本格式如下所示：

User-agent: [user-agent name] 
Disallow: [URL string not to be crawled] 
User-agent: [user-agent name] 
Allow: [URL string to be crawled] 
Sitemap: [URL of your XML Sitemap]

您可以使用多行說(shuō)明來(lái)允許或禁止使用特定的URL及添加多個(gè)站點(diǎn)地圖。如果您不禁止URL，則搜索引擎蜘蛛會(huì)默認(rèn)認(rèn)為其支持爬取。

下面是一個(gè)robots.txt文件示例：

User-Agent: * 
Allow: /wp-content/uploads/ 
Disallow: /wp-content/plugins/ 
Disallow: /wp-admin/ 
Sitemap: https://example.com/sitemap_index.xml

在上面的robots.txt示例中，我們?cè)试S搜索引擎對(duì)WordPress上傳文件夾中的文件進(jìn)行爬取和編制索引。

在那之后，我們不允許搜索引擎蜘蛛爬取和索引插件目錄和WordPress管理目錄。

最后，還提供了XML網(wǎng)站地圖的URL。

WordPress網(wǎng)站是否需要Robots.txt文件？

如果網(wǎng)站沒(méi)有robots.txt文件，則搜索引擎會(huì)抓取您的網(wǎng)站并為其編制索引。但是，您將無(wú)法告訴搜索引擎不應(yīng)該抓取哪些頁(yè)面或文件夾。

當(dāng)您第一次創(chuàng)建博客且內(nèi)容不多時(shí)，這不會(huì)產(chǎn)生太大影響。

但是，隨著網(wǎng)站的發(fā)展和內(nèi)容越來(lái)越豐富，您可能希望更好地控制網(wǎng)站的蜘蛛爬取行為和索引方式。

這就是為什么。

搜索引擎蜘蛛對(duì)每個(gè)網(wǎng)站都有一個(gè)爬取配額。

這意味著它們?cè)谂谰W(wǎng)會(huì)話期間對(duì)一定數(shù)量的頁(yè)面進(jìn)行爬網(wǎng)。如果他們還沒(méi)有完成對(duì)您網(wǎng)站上所有頁(yè)面的爬取，那么他們將返回并在下一個(gè)會(huì)話中繼續(xù)爬取。

這可能會(huì)降低您的網(wǎng)站索引率。

溫馨提示：你可以通過(guò)安裝搜索引擎蜘蛛分析插件來(lái)進(jìn)一步了解各大搜索引擎蜘蛛是如何爬取你的網(wǎng)站。

您可以通過(guò)禁止搜索引擎阻止其爬網(wǎng)不必要的頁(yè)面（如WordPress管理頁(yè)面，插件文件和主題文件夾）來(lái)解決此問(wèn)題。

通過(guò)禁止不必要的頁(yè)面，可以節(jié)省蜘蛛爬取配額。這有助于搜索引擎在您的網(wǎng)站上抓取更多頁(yè)面，并盡快為其建立索引。

使用robots.txt文件的另一個(gè)很好的理由是，當(dāng)您需要禁止搜索引擎將您網(wǎng)站上的文章或頁(yè)面編入索引時(shí)。

這不是向公眾隱藏內(nèi)容的最安全方法，但是它將幫助您阻止部分內(nèi)容出現(xiàn)在搜索結(jié)果中。

什么是理想的Robots.txt文件？

許多流行的博客使用非常簡(jiǎn)單的robots.txt文件。它們的內(nèi)容可能會(huì)有所不同，具體取決于特定站點(diǎn)的需求：

User-agent: * 
Disallow: 
Sitemap: http://www.example.com/post-sitemap.xml 
Sitemap: http://www.example.com/page-sitemap.xml

該robots.txt文件允許所有搜索引擎蜘蛛為所有內(nèi)容建立索引，并為它們提供網(wǎng)站XML站點(diǎn)地圖的鏈接。

對(duì)于WordPress網(wǎng)站，我們建議在robots.txt文件中使用以下規(guī)則：

User-Agent: * 
Allow: /wp-content/uploads/ 
Disallow: /wp-content/plugins/ 
Disallow: /wp-admin/ 
Disallow: /readme.html 
Disallow: /refer/ 

Sitemap: http://www.example.com/post-sitemap.xml 
Sitemap: http://www.example.com/page-sitemap.xml

告訴搜索引擎將所有WordPress圖像和文件編入索引。同時(shí)，不允許搜索引擎將WordPress插件文件，WordPress管理區(qū)域，WordPress自述文件和會(huì)員鏈接編入索引。

通過(guò)將站點(diǎn)地圖添加到robots.txt文件，您可以使搜索引擎蜘蛛輕松找到您網(wǎng)站上的所有頁(yè)面。

既然您已經(jīng)知道理想的robots.txt文件是什么樣子，那么讓我們看一下如何在WordPress中創(chuàng)建robots.txt文件。

如何創(chuàng)建WordPress網(wǎng)站的Robots.txt？

有兩種方法可以在WordPress中創(chuàng)建robots.txt文件。您可以選擇最適合您的方法。

方法1：使用Smart SEO Tool來(lái)編輯Robots.txt文件

Smart SEO Tool，是我們自主開(kāi)發(fā)的WordPress SEO插件，易于使用，并附帶robots.txt文件編輯支持。

如果您尚未安裝Smart SEO Tool插件，則需要安裝并啟用插件。

然后可以直接在WordPress管理后臺(tái)進(jìn)入插件設(shè)置界面來(lái)創(chuàng)建和編輯robots.txt文件。

轉(zhuǎn)到“設(shè)置?Smart SEO Tool”，選擇robots.txt選項(xiàng)標(biāo)簽。

首先你需要啟用“Robots.txt”，切換為藍(lán)色來(lái)打開(kāi)編輯選項(xiàng)。

啟用此選項(xiàng)后，您可以創(chuàng)建自定義robots.txt文件。

插件將會(huì)下面顯示默認(rèn)的robots.txt文件，此版本為插件預(yù)設(shè)的默認(rèn)規(guī)則（當(dāng)前插件版本不支持刪除默認(rèn)規(guī)則，只允許添加新規(guī)則）

這些默認(rèn)規(guī)則告訴搜索引擎不要抓取您的核心WordPress文件，允許蜘蛛為所有內(nèi)容建立索引，并為它們提供指向網(wǎng)站的XML網(wǎng)站地圖的鏈接。

現(xiàn)在，您可以添加自己的自定義規(guī)則，以改善針對(duì)SEO的robots.txt。

要添加規(guī)則，可以在默認(rèn)規(guī)則另起行添加，每行一條規(guī)則。你可以閱讀“深入了解Robots.txt及如何規(guī)范地編寫(xiě)”

溫馨提示：當(dāng)用插件生成管理robots.txt，請(qǐng)確保你的服務(wù)器根目錄已經(jīng)刪除靜態(tài)的robots.txt。否則插件所編寫(xiě)的robots.txt是無(wú)效的。

完成后，請(qǐng)不要忘記單擊“保存更改”按鈕來(lái)存儲(chǔ)您的更改。

方法2.使用FTP手動(dòng)編輯Robots.txt文件

對(duì)于這種方法，您將需要使用FTP客戶端或者寶塔控制面板來(lái)編輯robots.txt文件。

只需使用FTP客戶端連接到您的WordPress網(wǎng)站托管的服務(wù)器帳戶即可（或者登陸WordPress服務(wù)器的寶塔面板）。

進(jìn)入服務(wù)器后，您將可以在網(wǎng)站的根文件夾找到robots.txt文件。

如果沒(méi)有，則可能沒(méi)有robots.txt文件。在這種情況下，您需要?jiǎng)?chuàng)建一個(gè)。

Robots.txt是純文本文件，這意味著您可以將其下載到計(jì)算機(jī)上，并使用任何純文本編輯器（如記事本或TextEdit）進(jìn)行編輯。

保存更改后，將其上傳回網(wǎng)站的根文件夾。

如何測(cè)試Robots.txt文件？

創(chuàng)建robots.txt文件后，最好使用robots.txt測(cè)試工具對(duì)其進(jìn)行測(cè)試。

有很多robots.txt測(cè)試器工具，但我們建議您使用Google Search Console所提供的。

首先，您需要將網(wǎng)站與Google Search Console鏈接。

然后，使用Google Search Console蜘蛛測(cè)試工具。

只需從下拉列表中選擇您的網(wǎng)站。

該工具將自動(dòng)獲取您網(wǎng)站的robots.txt文件，并突出顯示錯(cuò)誤和警告（如果發(fā)現(xiàn)）。

最后

優(yōu)化robots.txt文件的目的是防止搜索引擎蜘蛛抓取不公開(kāi)的頁(yè)面。例如，您的wp-plugins文件夾中的頁(yè)面或WordPress admin文件夾中的頁(yè)面。

部分SEO專家甚至建議，阻止WordPress類別，標(biāo)簽和存檔頁(yè)面將提高爬網(wǎng)率，并導(dǎo)致更快的索引編制和更高的排名。

這不是真的。這也違反了Google網(wǎng)站站長(zhǎng)指南。但，如果你的存檔頁(yè)面和標(biāo)簽頁(yè)面不太重要時(shí)，倒真的可以阻止蜘蛛爬取。

我們建議您遵循上述robots.txt格式為您的網(wǎng)站創(chuàng)建robots.txt文件。希望本教程能幫助您學(xué)習(xí)如何基于SEO優(yōu)化WordPress網(wǎng)站robots.txt文件。

您可能對(duì)WordPress SEO終極指南和最佳WordPress SEO插件感興趣，以進(jìn)一步提升您的網(wǎng)站SEO。