告訴我，當您考慮對網(wǎng)站進行排名時，您首先想到的是什么？

內容？或者反向鏈接？

我承認，兩者都是在搜索結果中定位網(wǎng)站的關鍵因素。但他們不是唯一的。

事實上，另外兩個因素在seo優(yōu)化中起著重要作用 - 可抓取性和可索引性。然而，大多數(shù)網(wǎng)站所有者從未聽說過它們。

與此同時，即使是可索引性或可抓取性的小問題也可能導致您的網(wǎng)站失去排名。無論你有什么好的內容或多少反向鏈接，都是如此。

網(wǎng)絡爬蟲如何掃描您的網(wǎng)站？一種了解搜索引擎機器人如何工作的新工具，試用Log File Analyzer，窗體底端。

什么是可抓取性和可索引性？

要理解這些術語，我們首先來看看搜索引擎如何發(fā)現(xiàn)和索引頁面。要了解任何新的（或更新的）頁面，他們會使用所謂的網(wǎng)絡抓取工具，其目的是在網(wǎng)絡上關注鏈接，只需一個目標：

查找和索引新的Web內容。

谷歌解釋說：

“爬蟲會查看網(wǎng)頁并關注這些網(wǎng)頁上的鏈接，就像您瀏覽網(wǎng)頁上的內容一樣。他們從鏈接轉到鏈接，并將有關這些網(wǎng)頁的數(shù)據(jù)帶回Google的服務器。“

簡而言之，這兩個術語都與搜索引擎訪問和索引網(wǎng)站上的頁面以將其添加到其索引的能力有關。爬行介紹了搜索引擎的訪問和抓取內容的頁面上的能力，如果站點沒有可爬網(wǎng)性問題，則Web爬網(wǎng)程序可以通過跟蹤頁面之間的鏈接輕松訪問其所有內容。

但是，斷開的鏈接或死角可能會導致可抓取性問題 - 搜索引擎無法訪問網(wǎng)站上的特定內容。

可轉位，在另一方面，是指搜索引擎的分析和頁面添加到其索引的能力。

即使Google可以抓取某個網(wǎng)站，但它可能不一定能夠為其所有網(wǎng)頁編制索引，這通常是由于可轉換性問題。

什么影響可抓取性和可索引性？

1.網(wǎng)站結構

網(wǎng)站的信息結構在其可抓取性方面起著至關重要的作用。

例如，如果您的網(wǎng)站具有未與其他任何地方鏈接的網(wǎng)頁，則網(wǎng)頁抓取工具可能難以訪問這些網(wǎng)頁。

當然，他們仍然可以通過外部鏈接找到這些頁面，前提是某人在其內容中引用了這些頁面。但總的來說，弱結構可能會導致可爬行性問題。

2.內部鏈接結構

網(wǎng)絡爬蟲通過以下鏈接在網(wǎng)絡上傳播，就像您在任何網(wǎng)站上一樣。因此，它只能從其他內容中找到您鏈接到的頁面。

因此，良好的內部鏈接結構將使其能夠快速到達您網(wǎng)站結構深處的那些頁面。但是，糟糕的結構可能會將其發(fā)送到死胡同，從而導致網(wǎng)絡爬蟲錯過了您的某些內容。

3.循環(huán)重定向

損壞的頁面重定向會阻止Web爬網(wǎng)程序進入其軌道，從而導致可爬網(wǎng)問題。

4.服務器錯誤

同樣，損壞的服務器重定向和許多其他與服務器相關的問題可能會阻止Web爬網(wǎng)程序訪問您的所有內容。

5.不受支持的腳本和其他技術因素

您在網(wǎng)站上使用的技術可能會導致可追溯性問題。例如，由于抓取工具無法遵循表單，因此對表單后面的內容進行選通將導致可抓取性問題。

各種腳本（如Javascript或Ajax）也可能會阻止Web爬網(wǎng)程序中的內容。

6.阻止Web爬網(wǎng)程序訪問

最后，您可以故意阻止網(wǎng)頁抓取工具對您網(wǎng)站上的網(wǎng)頁編制索引。

這樣做有一些很好的理由。

例如，您可能已創(chuàng)建了要限制公共訪問的頁面。作為阻止訪問的一部分，您還應該阻止它訪問搜索引擎。

但是，也很容易錯誤地阻止其他頁面。例如，代碼中的一個簡單錯誤可能會阻止整個網(wǎng)站部分。

您可以在本文中找到的可抓取性問題的完整列表 - 您的網(wǎng)站對抓取者不友好的18個原因：可追溯性問題指南。 

如何使網(wǎng)站更容易抓取和索引？

我已經(jīng)列出了一些可能導致您的網(wǎng)站遇到可抓取性或可索引性問題的因素。因此，作為第一步，您應該確保它們不會發(fā)生。

但是，您還可以采取其他措施來確保網(wǎng)絡抓取工具可以輕松訪問和索引您的網(wǎng)頁,這樣也有利于網(wǎng)站seo優(yōu)化。

1.將Sitemap提交給Google

Sitemap是一個小文件，位于您網(wǎng)域的根文件夾中，其中包含指向您網(wǎng)站上每個網(wǎng)頁的直接鏈接，并使用Google控制臺將其提交給搜索引擎。

該站點地圖將告知Google您的內容，并提醒您對其所做的任何更新。

2.加強內部聯(lián)系

我們已經(jīng)討論了相互關聯(lián)如何影響可抓取性。因此，為了增加Google抓取工具查找您網(wǎng)站上所有內容的機會，請改善網(wǎng)頁之間的鏈接，以確保所有內容都已連接。

3.定期更新和添加新內容

內容是您網(wǎng)站中最重要的部分。它可以幫助您吸引訪客，向他們介紹您的業(yè)務，并將其轉換為客戶。

但內容也可以幫助您提高網(wǎng)站的可抓取性。例如，網(wǎng)絡抓取工具訪問不斷更新其內容的網(wǎng)站。這意味著他們會更快地抓取您的網(wǎng)頁并將其編入索引。

4.避免重復任何內容

如果內容重復，則內容相同或非常相似的網(wǎng)頁可能會導致排名失敗。

但重復的內容也會降低抓取工具訪問您網(wǎng)站的頻率。

因此，檢查并修復網(wǎng)站上的任何重復內容問題。

5.加快頁面加載時間

網(wǎng)頁抓取工具通常只能在有限的時間內對網(wǎng)站進行抓取和索引編制。這稱為爬網(wǎng)預算?；旧?，一旦時間到了，他們就會離開你的網(wǎng)站。

因此，您的頁面加載速度越快，爬蟲在耗盡時間之前就能訪問的越多。

用于管理可爬網(wǎng)性和可索引性的工具

如果上述所有聲音都令人生畏，請不要擔心。有些工具可以幫助您識別和修復可爬網(wǎng)性和可索引性問題。

日志文件分析器

日志文件分析器  將向您顯示桌面和移動Google機器人如何抓取您的網(wǎng)站，以及是否有任何錯誤需要修復和抓取預算以進行保存。您所要做的就是上傳您網(wǎng)站的access.log文件，讓該工具完成其工作。

訪問日志是人或機器人發(fā)送到您網(wǎng)站的所有請求的列表; 通過分析日志文件，您可以跟蹤和了解爬網(wǎng)程序的行為。

分析和管理Googlebots

1.改善您網(wǎng)站的可抓取性和可索引性

2.試用Log File Analyzer

3.窗體底端

谷歌工具

Google Search Console  可幫助您在Google中監(jiān)控和維護您的網(wǎng)站。這是一個提交站點地圖的地方，它顯示了網(wǎng)站抓取工具對您網(wǎng)站的覆蓋范圍。

Google PageSpeed Insights  可讓您快速查看網(wǎng)站的網(wǎng)頁加載速度。 

大多數(shù)網(wǎng)站管理員都知道，要對網(wǎng)站進行排名，他們至少需要強大且相關的內容和反向鏈接來增加其網(wǎng)站的權限。

他們不知道的是，如果搜索引擎的抓取工具無法抓取并索引其網(wǎng)站，他們的努力是徒勞的。

這就是為什么除了專注于為相關關鍵字添加和優(yōu)化頁面以及構建鏈接之外，您還應該持續(xù)監(jiān)控網(wǎng)絡抓取工具是否可以訪問您的網(wǎng)站并向搜索引擎報告他們找到的內容。