內(nèi)容采集，或者我們喜歡稱之為“內(nèi)容竊取”，自互聯(lián)網(wǎng)誕生以來一直是一個(gè)問題。對(duì)于任何定期發(fā)布或使用搜索引擎優(yōu)化 (SEO ) 的人來說，這實(shí)際上可能會(huì)讓人非常惱火。

什么是內(nèi)容采集？

內(nèi)容采集基本上是指有人獲取您的內(nèi)容并在他們自己的網(wǎng)站上使用它（手動(dòng)或使用插件或機(jī)器人自動(dòng)），而不給您署名或信用。這通常是希望以某種方式獲得流量、SEO或新用戶。這實(shí)際上違反了美國和其他一些國家的版權(quán)法。谷歌也不寬恕這一點(diǎn)，并建議您應(yīng)該創(chuàng)建自己的獨(dú)特內(nèi)容。

以下是 谷歌提到的幾個(gè)采集內(nèi)容的例子：

• 從其他網(wǎng)站復(fù)制和重新發(fā)布內(nèi)容而不添加任何原始內(nèi)容或價(jià)值的網(wǎng)站
• 從其他網(wǎng)站復(fù)制內(nèi)容、稍作修改（例如，通過替換同義詞或使用自動(dòng)化技術(shù)）并重新發(fā)布的網(wǎng)站
• 從其他站點(diǎn)復(fù)制內(nèi)容提要但不為用戶提供某種類型的獨(dú)特組織或利益的站點(diǎn)
• 專門從其他網(wǎng)站嵌入內(nèi)容（例如視頻、圖像或其他媒體）的網(wǎng)站，但對(duì)用戶沒有實(shí)質(zhì)性的附加價(jià)值

不要將這與內(nèi)容聯(lián)合（ content syndication?）混淆，后者通常是在您重新發(fā)布自己的內(nèi)容以擴(kuò)大覆蓋范圍時(shí)。聯(lián)合內(nèi)容也可以由第三方完成，但這與內(nèi)容抓取之間存在細(xì)微差別。如果有人在聯(lián)合內(nèi)容，則應(yīng)始終使用特殊標(biāo)簽，例如?rel=canonical或noindex。

現(xiàn)在有很多第三方wordpress插件可以讓你自動(dòng)抓取第三方RSS源。雖然開發(fā)人員的意圖是好的，但不幸的是，這些意圖有時(shí)會(huì)被濫用并用于內(nèi)容采集。WordPress如此受歡迎的原因之一是易于使用，但有時(shí)也會(huì)適得其反。

內(nèi)容采集農(nóng)場(chǎng)的實(shí)例

當(dāng)同一個(gè)所有者在數(shù)十個(gè)網(wǎng)站上抓取內(nèi)容時(shí)，我們稱它們?yōu)椤稗r(nóng)場(chǎng)”。這些通常很容易發(fā)現(xiàn)，因?yàn)閃ordPress網(wǎng)站所有者通常在所有網(wǎng)站上使用相同的主題，甚至域名之間的差異也很小。

我們?cè)诮裉斓奶又惺褂昧艘粋€(gè)活生生的例子！我們毫不羞恥地指出這些類型的網(wǎng)站，因?yàn)樗鼈儧]有提供任何價(jià)值，只會(huì)否定內(nèi)容發(fā)布者所做的辛勤工作。這是內(nèi)容抓取農(nóng)場(chǎng)的示例。我們存檔了每個(gè)鏈接，以防網(wǎng)站將來出現(xiàn)故障。您可以單擊它們中的每一個(gè)，并查看它們都使用相同的主題和相同的抓取內(nèi)容。通常，刮板會(huì)從許多不同的來源獲取內(nèi)容，我們的博客就是其中之一。

• thetechworld.xyz（存檔鏈接）
• mytechnewstoday.org（存檔鏈接）
• mytechcrunch.com（存檔鏈接）
• technewssites.xyz（存檔鏈接）
• technewssites.info（存檔鏈接）
• www.thetechworld.info（存檔鏈接）
• www.mytechnewstoday.xyz（存檔鏈接）
• www.futuretechnologynews.info（存檔鏈接）
• futuretechnologynews.xyz（存檔鏈接）

您可以在下面看到，他們只是逐字逐句地采集博客文章。

采集示例

如何找到他們？

找到它們的最簡(jiǎn)單方法之一是使用Copyscape（不支持中文）或Ahrefs之類的工具 （如果它們也在復(fù)制您的內(nèi)部鏈接）。Copyscape甚至允許您提交站點(diǎn)地圖文件，并讓它在掃描網(wǎng)絡(luò)并查找內(nèi)容時(shí)自動(dòng)通知您。

文案

您還可以使用“allintitle”標(biāo)簽手動(dòng)搜索Google。只需輸入標(biāo)簽以及您的文章標(biāo)題即可。

使用allintitle標(biāo)簽搜索Google

allintitle關(guān)鍵字提示Google僅在文章標(biāo)題中搜索這些詞。第二種也是更有效的方法是在您的帖子中搜索一些文本，搜索詞用雙引號(hào)括起來。加上雙引號(hào)告訴谷歌搜索完全相同的文本。您的標(biāo)題搜索可能會(huì)出現(xiàn)誤報(bào)，因?yàn)橛腥丝赡軙?huì)使用相同的標(biāo)題，但第二種方法更有效，因?yàn)橛腥瞬惶赡軗碛型耆嗤木渥踊蚨温洹?/p>

內(nèi)容采集會(huì)影響搜索引擎優(yōu)化嗎？

您可能遇到的下一個(gè)問題是，這對(duì)SEO有何影響？因?yàn)樵谏厦娴氖纠?，?nèi)容采集農(nóng)場(chǎng)沒有使用rel=canonical標(biāo)簽、給予信用或noindex標(biāo)簽。這意味著當(dāng)Google bot抓取它時(shí)，它會(huì)認(rèn)為這是他們的原始內(nèi)容。你可能認(rèn)為這不公平。你是對(duì)的，它不是。我們發(fā)布了內(nèi)容，然后他們只是抓取它。然而，在你開始恐慌之前，了解幕后真正發(fā)生的事情很重要。

首先，即使Google爬蟲可能會(huì)將其視為他們的內(nèi)容，但Google算法很可能不會(huì)。谷歌并不愚蠢，并且有許多規(guī)則和檢查來確保原始內(nèi)容所有者仍然獲得信譽(yù)。我們?cè)趺粗滥?？好吧，讓我們從SEO的角度來看看這些帖子中的每一個(gè)。

示例中這個(gè)網(wǎng)站早在2017年11月就采集了別人的博客文章，所以如果要排名的話，它有足夠的時(shí)間來排名。因此，啟動(dòng)Ahrefs工具并檢查他們的文章當(dāng)前排名的關(guān)鍵字。我們可以看到它沒有為任何關(guān)鍵字排名。因此，就自然流量而言，他們根本沒有從這篇文章中受益。

內(nèi)容采集SEO

如果我們?cè)贏hrefs中提取我們的原始博客文章，我們可以看到我們對(duì)96個(gè)關(guān)鍵字進(jìn)行了排名。

原創(chuàng)內(nèi)容搜索引擎優(yōu)化

當(dāng)Google看到您可能認(rèn)為是重復(fù)的內(nèi)容時(shí)，它會(huì)使用許多不同的信號(hào)和數(shù)據(jù)點(diǎn)來確定最初是誰編寫了內(nèi)容以及應(yīng)該對(duì)哪些內(nèi)容進(jìn)行排名。這里有幾個(gè)例子：

• 發(fā)布日期（盡管在這種情況下，內(nèi)容是在同一天抓取的）
• 域權(quán)限和頁面排名。是的，Google內(nèi)部可能仍在使用頁面排名
• 社會(huì)信號(hào)
• 交通
• 反向鏈接

同樣，這些都是安全的假設(shè)，因?yàn)闆]有人真正知道Google使用什么。但這里的重點(diǎn)是，您可能不需要因?yàn)橛腥俗ト∧膬?nèi)容而失眠。但是，您仍然可能想對(duì)此做點(diǎn)什么。別人用你自己的內(nèi)容來超越你也不是不可能的。我們將在下面進(jìn)一步討論。

我們?nèi)绾翁幚韮?nèi)容采集

創(chuàng)建有用的、獨(dú)特的和值得分享的內(nèi)容并不容易，它會(huì)占用你很多寶貴的時(shí)間（而且通常會(huì)花費(fèi)很多錢），所以你絕對(duì)應(yīng)該保護(hù)它。但這里有一些額外的原因，您可能不想忽略刮板。

1. 如果一個(gè)擁有大量流量的網(wǎng)站正在抓取您的內(nèi)容并使用它來補(bǔ)充其他內(nèi)容，那么他??們很可能從中受益。這絕對(duì)是不對(duì)的，因?yàn)槟莾?nèi)容的原始所有者。
2. 像這樣的事情會(huì)嚴(yán)重扭曲您的報(bào)告工具中的數(shù)據(jù)，讓您的生活更加艱難。例如，這些將顯示在Ahrefs或Majestic等工具的反向鏈接報(bào)告中。你越大，它就越混亂。
3. 您是否希望完全信任 Google 以確定他們的內(nèi)容還是您的內(nèi)容是原始內(nèi)容？盡管他們對(duì)此非常聰明，但我們肯定不會(huì)。此外，即使他們的帖子沒有任何關(guān)鍵字的搜索引擎排名，它實(shí)際上已被Google索引（如下所示）。

采集的內(nèi)容已編入索引

聯(lián)系網(wǎng)站所有者并提交DMCA投訴

為確保我們?cè)谛庞玫狡跁r(shí)獲得信用，我們通常首先聯(lián)系網(wǎng)站所有者并請(qǐng)求刪除。我們建議創(chuàng)建一些您可以重復(fù)使用的電子郵件模板，以加快此過程，而不是浪費(fèi)您的時(shí)間。如果我們?cè)趲状螄L試后沒有收到他們的消息，我們會(huì)更進(jìn)一步并提出DMCA投訴。

DMCA投訴可能有點(diǎn)棘手，因?yàn)槟枰檎揖W(wǎng)站的IP、查找主機(jī)等。但不用擔(dān)心，我們已經(jīng)記錄了如何輕松提交DMCA投訴的所有步驟，以及追蹤所有者。您也可以直接向Google提出合法刪除請(qǐng)求。

就上面的實(shí)時(shí)案例研究示例而言，似乎是時(shí)候采取下一步行動(dòng)了，因?yàn)槲覀儫o法聯(lián)系到網(wǎng)站所有者。

更新拒絕文件

為確保這些不會(huì)以任何方式影響我們的網(wǎng)站（無論DMCA投訴發(fā)生了什么），我們還將這些整個(gè)域添加到我們的拒絕文件中。這告訴谷歌我們不想與他們有任何關(guān)系，并且我們不會(huì)試圖以任何方式操縱SERP。

如果您為更高質(zhì)量的網(wǎng)站執(zhí)行此操作，您也可以只提交URL以進(jìn)行拒絕，而不是提交整個(gè)域。盡管通常我們看不到高質(zhì)量的網(wǎng)站抓取內(nèi)容。

第 1 步

在Ahrefs中，我們選擇有問題的域，然后單擊“Disavow Domains”。這確保了該內(nèi)容抓取網(wǎng)站中的所有內(nèi)容都不會(huì)影響我們。

Ahrefs拒絕域

在處理這些類型的問題時(shí)，Ahrefs的偉大之處在于其“隱藏拒絕鏈接”選項(xiàng)。然后，它會(huì)自動(dòng)隱藏域和URL，以后不會(huì)出現(xiàn)在您的主報(bào)告中。這對(duì)于組織和保持理智非常有幫助，特別是如果您專門使用Ahrefs來管理反向鏈接。

隱藏拒絕的鏈接

第 2 步

正如您在下面看到的，我們將來自內(nèi)容抓取農(nóng)場(chǎng)的所有域添加到Ahrefs中的拒絕鏈接部分。下一步是單擊“導(dǎo)出”并獲取我們需要在Google Search Console中提交的拒絕文件 (TXT) 。

導(dǎo)出拒絕文件

第 3 步

然后轉(zhuǎn)到Google的Disavow Tool。選擇您的Google Search Console個(gè)人資料，然后點(diǎn)擊“Disavow LINKS”。

拒絕鏈接

第 4 步

選擇您從Ahrefs導(dǎo)出的拒絕文件并提交。這將覆蓋您之前的拒絕文件。如果您以前沒有使用過Ahrefs并且已經(jīng)存在拒絕文件，建議您下載當(dāng)前文件，將其與新文件合并，然后上傳。從那時(shí)起，如果您只使用Ahrefs，您可以簡(jiǎn)單地上傳和覆蓋。

拒絕文件

屏蔽爬蟲的IP

您還可以更進(jìn)一步，阻止爬蟲的IP。一旦您確定了異常流量（有時(shí)很難做到），您可以使用.htaccess文件或Nginx規(guī)則在您的服務(wù)器上阻止它?；蛘撸绻褂玫氖荢ucuri或Cloudflare等第三方WAF，它們也有攔截IP的選項(xiàng)。

小結(jié)

內(nèi)容采集農(nóng)場(chǎng)可能并不總是影響您的SEO，但它們絕對(duì)不會(huì)為用戶增加任何價(jià)值。我們強(qiáng)烈建議您花一些時(shí)間將它們?nèi)∠聛?。我們有一整張Trello卡片專門用于處理“刪除”請(qǐng)求。這有助于使網(wǎng)絡(luò)成為每個(gè)人都更好的地方，并確保您的獨(dú)特內(nèi)容只會(huì)在您的網(wǎng)站上看到和排名。

此外，我們建議站長(zhǎng)們，一味地原封不動(dòng)地采集內(nèi)容，很難讓網(wǎng)站有很好的排名。如果您希望做一個(gè)內(nèi)容聚合站點(diǎn)，我們建議：

（1）堅(jiān)持做一定比例的原創(chuàng)內(nèi)容，我們無法給出一個(gè)準(zhǔn)確的占比，但對(duì)于新站而言，原創(chuàng)內(nèi)容理應(yīng)占更大的比例；

（2）即使是內(nèi)容采集，應(yīng)該考慮對(duì)內(nèi)容進(jìn)行一定的深加工，用工具也好，手動(dòng)重新編輯也好；

（3）使用搜索推送插件，將內(nèi)容及時(shí)推送至搜索引擎。