您可能注意到wordpress后臺(tái)存在一個(gè)設(shè)置，上面寫著“建議搜索引擎不索引本站點(diǎn)”。

或者，您可能正在尋找一種方法來對(duì)不受歡迎的訪問者隱藏您的網(wǎng)站，并想知道這個(gè)小復(fù)選框是否足以使您的內(nèi)容安全保密。

這個(gè)選項(xiàng)是什么意思？它到底對(duì)您的網(wǎng)站做了什么？為什么要避免依賴它——即使你試圖隱藏你的內(nèi)容？以下是答案和其他一些方法，可以為您的網(wǎng)站取消索引并阻止對(duì)某些頁面的訪問。

1. 建議搜索引擎不索引本站點(diǎn)是什么意思？
2. 如何檢查您的網(wǎng)站是否開放給搜索引擎
3. 如何阻止搜索引擎索引WordPress網(wǎng)站
4. 禁止搜索引擎索引網(wǎng)站的其他方法

建議搜索引擎不索引本站點(diǎn)是什么意思？

您有沒有想過搜索引擎如何索引您的網(wǎng)站并衡量您的搜索引擎優(yōu)化？他們使用稱為蜘蛛（也稱為機(jī)器人或爬蟲）的自動(dòng)化程序來完成此操作。蜘蛛“爬行”網(wǎng)絡(luò)，訪問網(wǎng)站并記錄您的所有內(nèi)容。

Google使用它們來決定如何在搜索結(jié)果中對(duì)您的網(wǎng)站進(jìn)行排名和放置，從您的文章中抓取搜索結(jié)果頁面的簡介，并將您的圖片拉入Google圖片。

當(dāng)您勾選“建議搜索引擎不索引本站點(diǎn)”時(shí)，WordPress會(huì)修改您的robots.txt文件（該文件向蜘蛛提供有關(guān)如何抓取您的站點(diǎn)的說明）。它還可以在您網(wǎng)站的標(biāo)題中添加一個(gè)元標(biāo)記，告訴Google和其他搜索引擎不要將您整個(gè)網(wǎng)站上的任何內(nèi)容編入索引。

這里的關(guān)鍵詞是“勸阻”：搜索引擎沒有義務(wù)滿足這個(gè)要求，尤其是那些不使用谷歌使用的標(biāo)準(zhǔn)robots.txt語法的搜索引擎（你可以通過閃電博提供的蜘蛛爬蟲查詢工具，查看哪些爬蟲遵守或者不遵守robots協(xié)議）。

網(wǎng)絡(luò)爬蟲仍然能夠找到您的站點(diǎn)，但正確配置的爬蟲會(huì)讀取您的robots.txt并離開而不將內(nèi)容編入索引或顯示在其搜索結(jié)果中。

過去，WordPress中的此選項(xiàng)并沒有阻止Google在搜索結(jié)果中顯示您的網(wǎng)站，只是將其內(nèi)容編入索引。您仍然可以看到您的網(wǎng)頁出現(xiàn)在搜索結(jié)果中，并顯示錯(cuò)誤，例如“此網(wǎng)頁沒有可用信息”或“由于網(wǎng)站的robots.txt，此結(jié)果的說明不可用”。

雖然谷歌沒有索引頁面，但他們也沒有完全隱藏頁面。這種異常導(dǎo)致人們能夠訪問他們不應(yīng)該看到的頁面。感謝WordPress 5.3 ，它現(xiàn)在可以正常工作，阻止網(wǎng)站的索引和列表。

您可以想象如果您不小心啟用了這將如何破壞您的SEO。僅當(dāng)您真的不希望任何人看到您的內(nèi)容時(shí)才使用此選項(xiàng)至關(guān)重要 – 即便如此，它也可能不是您想要采取的唯一措施。

為什么您可能不想將您的網(wǎng)站編入索引

網(wǎng)站是為了讓人們看到。您希望用戶閱讀您的文章、購買您的產(chǎn)品、消費(fèi)您的內(nèi)容——您為什么要故意阻止搜索引擎？您可能想要隱藏部分或全部網(wǎng)站的原因有幾個(gè)。

• 您的網(wǎng)站正在開發(fā)中，尚未準(zhǔn)備好讓公眾看到。
• 您使用WordPress作為內(nèi)容管理系統(tǒng)，但希望將所述內(nèi)容保密。
• 您正試圖隱藏敏感信息。
• 您希望只有少數(shù)人通過鏈接或邀請(qǐng)?jiān)L問您的網(wǎng)站，而不是通過公共搜索頁面。
• 您想將某些內(nèi)容放在付費(fèi)專區(qū)或其他門之后，例如時(shí)事通訊獨(dú)家文章。
• 您想切斷舊的、過時(shí)的文章的流量。
• 您想防止在測(cè)試頁面或重復(fù)內(nèi)容上受到SEO處罰。

對(duì)于其中一些有更好的解決方案——使用適當(dāng)?shù)碾x線開發(fā)服務(wù)器，將您的文章設(shè)置為private ，或?qū)⑺鼈冎糜诿艽a后面——但是您可能想要取消部分或全部站點(diǎn)的索引是有正當(dāng)理由的。

如何檢查您的網(wǎng)站是否開放給搜索引擎

雖然您可能有正當(dāng)理由對(duì)您的網(wǎng)站取消索引，但得知您無意中打開了此設(shè)置或無意中將其打開時(shí)，可能會(huì)感到震驚。如果您的流量為零并懷疑您的網(wǎng)站沒有被編入索引，請(qǐng)按以下方法確認(rèn)。

一種直接的方法是選中位于管理儀表盤主屏幕上的“概覽”框。只需登錄您的后端并選中該框即可。如果您看到“自動(dòng)建議搜索引擎不抓取”，那么您就知道您已激活該設(shè)置。

WordPress儀表盤中的“概覽”。

更可靠的方法是檢查您的robots.txt 。您甚至無需登錄您的站點(diǎn)即可在瀏覽器中輕松驗(yàn)證這一點(diǎn)。要檢查robots.txt ，您需要做的就是將/robots.txt添加到站點(diǎn)URL的末尾。例如： https://www.wbolt.com/robots.txt

如果您看到Disallow: /則您的整個(gè)站點(diǎn)都被禁止索引。

robots.txt中的“Disallow”

如果您看到Disallow:后跟URL路徑，例如Disallow: /wp-admin/ ，則表示任何帶有/wp-admin/路徑的URL都不允許搜索引擎索引。這種結(jié)構(gòu)對(duì)于某些頁面來說是正常的，但是，例如，如果它攔截了/blog/ ，其中包含您想要索引的頁面，則可能會(huì)導(dǎo)致問題！

既然WordPress使用元標(biāo)記而不是robots.txt來對(duì)您的網(wǎng)站取消索引，您還應(yīng)該檢查您的標(biāo)題是否有修改。登錄到您的后端并轉(zhuǎn)到外觀>主題編輯器。找到Theme Header (header.php)并查找以下代碼：

< meta name = 'robots' content = 'noindex,nofollow' />

在header.php中的noindex, nofollow

您還可以檢查functions.php中的noindex標(biāo)記，因?yàn)榭梢酝ㄟ^此文件遠(yuǎn)程將代碼插入到標(biāo)頭中。如果您在主題文件中找到此代碼，則說明您的網(wǎng)站沒有被Google編入索引。但與其手動(dòng)刪除它，不如先嘗試關(guān)閉原始設(shè)置。

如何阻止搜索引擎索引WordPress網(wǎng)站

如果您想跳過額外的步驟并直接進(jìn)入原始設(shè)置，這里是如何在WordPress中激活或停用“禁止搜索引擎”選項(xiàng)。

登錄您的WordPress儀表盤并導(dǎo)航至設(shè)置 > 閱讀 。查找?guī)в袠?biāo)記為“對(duì)搜索引擎的可見性”的“建議搜索引擎不索引本站點(diǎn)”的復(fù)選框。

對(duì)搜索引擎的可見性復(fù)選框

如果您發(fā)現(xiàn)這已經(jīng)打開并希望您的網(wǎng)站被編入索引，請(qǐng)取消選中它。如果您打算阻止您的網(wǎng)站被編入索引，請(qǐng)勾選它（并在某處記下備注，提醒您稍后將其關(guān)閉?。?。

現(xiàn)在單擊保存更改，您就可以開始了。重新索引您的網(wǎng)站或?qū)⑵鋸乃阉鹘Y(jié)果中拉出可能需要一些時(shí)間。

如果您的網(wǎng)站仍被取消索引，您還可以noindex代碼，或手動(dòng)編輯robots.txt以刪除“Disallow”標(biāo)志。

所以這很簡單，但是您應(yīng)該避免使用此選項(xiàng)或至少不完全依賴它的一些原因是什么？

使用建議搜索引擎不索引本站點(diǎn)選項(xiàng)的缺點(diǎn)

看起來很簡單——勾選一個(gè)復(fù)選框，沒有人能夠看到你的網(wǎng)站。這還不夠好嗎？為什么要避免單獨(dú)使用此選項(xiàng)？

當(dāng)您打開此設(shè)置或任何類似的選項(xiàng)時(shí)，它所做的只是在您的標(biāo)題或robots.txt中添加一個(gè)標(biāo)簽。正如舊版本的WordPress仍然允許您的網(wǎng)站出現(xiàn)在搜索結(jié)果中所示，一個(gè)小故障或其他錯(cuò)誤可能會(huì)導(dǎo)致人們看到您所謂的隱藏頁面。

此外，完全取決于搜索引擎是否接受不抓取您網(wǎng)站的請(qǐng)求。主要的搜索引擎如Google和Bing通常都會(huì)，但并非所有搜索引擎都使用相同的robots.txt語法，并且并非所有爬行網(wǎng)絡(luò)的蜘蛛都是由搜索引擎發(fā)出的。

例如，利用網(wǎng)絡(luò)爬蟲的一項(xiàng)服務(wù)是Wayback Machine 。如果您的內(nèi)容被這樣的服務(wù)編入索引，它就會(huì)永遠(yuǎn)在網(wǎng)絡(luò)上。

Wayback Machine

您可能會(huì)認(rèn)為僅僅因?yàn)槟娜戮W(wǎng)站沒有指向它的鏈接，它就可以免受蜘蛛的侵害，但事實(shí)并非如此。存在于共享服務(wù)器上，發(fā)送帶有指向您網(wǎng)站鏈接的電子郵件，甚至在瀏覽器（尤其是 Chrome）中訪問您的網(wǎng)站都可能會(huì)打開您的網(wǎng)站，直到被抓取。

如果您想隱藏內(nèi)容，那么添加參數(shù)并不是一個(gè)好主意，并希望它能成功。

讓我們明確一點(diǎn)，如果您要取消索引的內(nèi)容具有敏感或個(gè)人性質(zhì)，則絕對(duì)不應(yīng)依賴robots.txt或元標(biāo)記來隱藏它。

最后但并非最不重要的一點(diǎn)是，此選項(xiàng)會(huì)將您的網(wǎng)站完全隱藏在搜索引擎中，而很多時(shí)候您只想對(duì)某些頁面取消索引。

那么你應(yīng)該做些什么來代替這種方法或與這種方法一起做呢？

禁止搜索引擎索引的其他方法

雖然WordPress提供的選項(xiàng)通常會(huì)起作用，但在某些情況下，使用其他隱藏內(nèi)容的方法通常會(huì)更好。甚至Google自己也說不要使用robots.txt隱藏頁面。

只要您的網(wǎng)站有域名并且位于面向公眾的服務(wù)器上，就無法保證您的內(nèi)容不會(huì)被爬蟲看到或編入索引，除非您將其刪除或?qū)⑵潆[藏在密碼或登錄要求后面。

也就是說，有什么更好的方法可以隱藏您的網(wǎng)站或其中的某些頁面？

使用.htaccess攔截搜索引擎

雖然它的實(shí)現(xiàn)在功能上與簡單地使用“阻止搜索引擎”選項(xiàng)相同，但您可能希望手動(dòng)使用.htaccess來阻止對(duì)您網(wǎng)站的索引。

您需要使用FTP/SFTP程序來訪問您的站點(diǎn)并打開.htaccess文件，該文件通常位于根文件夾（您打開站點(diǎn)時(shí)看到的第一個(gè)文件夾）或public_html中。將此代碼添加到文件中并保存：

Header set X-Robots-Tag "noindex, nofollow"

注意：此方法僅適用于Apache服務(wù)器。 NGINX服務(wù)器，需要將此代碼添加到.conf文件中，該文件可以在/etc/nginx/中找到（您可以在此處找到元標(biāo)記實(shí)現(xiàn)的示例）：

add_header X-Robots-Tag "noindex, nofollow";

密碼保護(hù)敏感頁面

如果您不希望搜索引擎索引某些文章或頁面，隱藏它們的最佳方法是使用密碼保護(hù)您的站點(diǎn)。這樣，只有您和您想要的用戶才能看到該內(nèi)容。

幸運(yùn)的是，此功能內(nèi)置于WordPress中，因此無需安裝任何插件。只需轉(zhuǎn)到文章頁面，然后單擊要隱藏的頁面。編輯您的頁面并查找右側(cè)可見性菜單。

如果您不使用古騰堡，則過程類似。您可以在“發(fā)布”框中找到相同的菜單。將可見性更改為受密碼保護(hù)并輸入密碼，然后保存 – 您的內(nèi)容現(xiàn)在對(duì)公眾隱藏。

將文章設(shè)置為密碼保護(hù)

如果您想用密碼保護(hù)整個(gè)網(wǎng)站怎么辦？每個(gè)頁面都需要密碼是不切實(shí)際的。

您可以使用內(nèi)容限制插件（例如Password Protected ）。請(qǐng)安裝并激活它，然后前往設(shè)置 > Password Protected并啟用Password Protected Status 。這為您提供了更好的控制，甚至允許您將某些IP地址列入白名單。

將文章設(shè)置為密碼保護(hù)

通過WordPress插件來實(shí)現(xiàn)

當(dāng)WordPress的默認(rèn)功能不夠用時(shí)，一個(gè)好的插件通?？梢越鉀Q您的問題。

例如，如果您想對(duì)特定頁面而不是整個(gè)站點(diǎn)取消索引，Yoast可以使用此選項(xiàng)。

在Yoast SEO中，您可以打開要隱藏的頁面，然后在“Advanced”選項(xiàng)卡下查找選項(xiàng)：Allow search engines to show this Post in search results? 將其更改為No，頁面將被隱藏。

Yoast SEO設(shè)置

您應(yīng)該注意，這兩種方法都依賴與WordPress阻止搜索引擎索引的默認(rèn)選項(xiàng)相同的方法，并且存在相同的缺陷。某些搜索引擎可能不會(huì)滿足您的要求。如果您真的想完全隱藏此內(nèi)容，則需要使用其他方法。

另一種解決方案是支付您的內(nèi)容或?qū)⑵潆[藏在所需的登錄名后面。 Simple Membership或Ultimate Member插件可以幫助您設(shè)置免費(fèi)或付費(fèi)的會(huì)員內(nèi)容。

Simple Membership插件

使用臨時(shí)站點(diǎn)進(jìn)行測(cè)試

在處理測(cè)試項(xiàng)目或進(jìn)行中的網(wǎng)站時(shí)，保持它們隱藏的最佳選擇是使用暫存或開發(fā)站點(diǎn)。這些網(wǎng)站是私有的，通常托管在本地機(jī)器上，只有您和您允許的其他人才能訪問。

許多Web 主機(jī)將為您提供易于部署的臨時(shí)站點(diǎn)，并允許您在準(zhǔn)備好時(shí)將它們推送到您的公共服務(wù)器。

如果您無法訪問創(chuàng)建臨時(shí)站點(diǎn)的簡單方法， WP STAGING插件可以幫助您復(fù)制安裝并將其移動(dòng)到文件夾中以便于訪問。

使用Google Search Console暫時(shí)隱藏網(wǎng)站

Google Search Console是一項(xiàng)服務(wù)，可讓您聲明對(duì)網(wǎng)站的所有權(quán)。隨之而來的是能夠暫時(shí)阻止Google將某些頁面編入索引。這種方法有幾個(gè)問題：它是Google獨(dú)有的（所以像 Bing 這樣的網(wǎng)站不會(huì)受到影響）并且它只能持續(xù)6個(gè)月。

但是，如果您想要一種快速簡便的方法來暫時(shí)將您的內(nèi)容從Google搜索結(jié)果中刪除，這就是實(shí)現(xiàn)的方法。

如果您還沒有，則需要將您的網(wǎng)站添加到Google Search Console 。完成后，打開Removals并選擇Temporary Removals > New Request 。然后單擊僅刪除此 URL并鏈接要隱藏的頁面。

這是一種更可靠的內(nèi)容攔截方式，但同樣，它僅適用于Google，并且只能持續(xù) 6 個(gè)月。

小結(jié)

您可能想要隱藏站點(diǎn)上的內(nèi)容的原因有很多，但依靠“建議搜索引擎不索引本站點(diǎn)”選項(xiàng)并不是確保此類內(nèi)容不被看到的最佳方法。

除非您想在網(wǎng)絡(luò)上隱藏您的整個(gè)網(wǎng)站，否則永遠(yuǎn)不要單擊此選項(xiàng)，因?yàn)槿绻恍⌒那袚Q，它會(huì)對(duì)您的SEO造成巨大損害。

即使您確實(shí)想隱藏您的站點(diǎn)，此默認(rèn)選項(xiàng)也是一種不可靠的方法。它應(yīng)該與密碼保護(hù)或其他阻止配對(duì)，尤其是在您處理敏感內(nèi)容時(shí)。