不論你的網(wǎng)站是用建立的，還是，還是，要注意你的網(wǎng)站都要做優(yōu)化

我們?cè)谥v到針對(duì)一個(gè)網(wǎng)站的優(yōu)化，特別是站內(nèi)優(yōu)化的時(shí)候，其實(shí)主要包含

2大方面：

- 一是針對(duì)頁(yè)面的SEO （on-page ）

- 另外一個(gè)是網(wǎng)站結(jié)構(gòu)優(yōu)化，也叫做技術(shù)性SEO

由于搜索結(jié)果的競(jìng)爭(zhēng)越來(lái)越激烈，對(duì)SEO在技術(shù)上的優(yōu)化也提出了更高的要求。

一個(gè)表現(xiàn)良好的網(wǎng)站，必須要是可抓取、快速、安全的網(wǎng)站。

技術(shù)性SEO包含的內(nèi)容很多，涵蓋網(wǎng)站的結(jié)構(gòu)設(shè)計(jì)、URL、網(wǎng)絡(luò)地圖等內(nèi)容，而且是一個(gè)技術(shù)性很強(qiáng)的方面。

今天我主要說(shuō)一說(shuō)網(wǎng)站技術(shù)SEO的六個(gè)基本方面，做好這六大方面，網(wǎng)站的性能會(huì)更加優(yōu)化和健康。

很多人可能看到這一章節(jié)會(huì)覺(jué)得很枯燥，但是其實(shí)是很重要的。

為什么呢？

因?yàn)橐粋€(gè)網(wǎng)站，如果你花了很多時(shí)間在獲取流量上，比如廣告，比如紅人，但是基本的文章的audit（審視）都沒(méi)有過(guò)關(guān)的話，那么無(wú)形之中會(huì)大大增加你網(wǎng)站的營(yíng)銷(xiāo)費(fèi)用。

試想一下一個(gè)2秒打開(kāi)速度的網(wǎng)站，和一個(gè)十秒才打開(kāi)的網(wǎng)站，那效果能一樣嗎？

所以從一個(gè)網(wǎng)站的優(yōu)化角度來(lái)講，特別是技術(shù)性優(yōu)化的角度來(lái)探討，我們要從以下幾點(diǎn)進(jìn)行優(yōu)化:

01

確保網(wǎng)站可抓取

對(duì)于搜索引擎優(yōu)化，做好優(yōu)質(zhì)內(nèi)容是必須的。但是只有優(yōu)質(zhì)內(nèi)容還不夠，如果搜索引擎抓取不到這個(gè)頁(yè)面，那你辛辛苦苦編寫(xiě)的內(nèi)容不是白費(fèi)了嗎？

確保網(wǎng)站可抓取，首先要檢查.txt文件，這個(gè)文件是任何網(wǎng)絡(luò)爬行軟件到達(dá)站點(diǎn)時(shí)的第一個(gè)調(diào)用點(diǎn)。

.txt文件會(huì)明確應(yīng)該被抓取的和不應(yīng)該被抓取的部分，表現(xiàn)為允許（allow）、禁止()某些用戶代理的行為。

通過(guò)將/.txt添加到根域末尾，可以公開(kāi)使用.txt文件。我們看一下網(wǎng)站的示例：

可以看到，網(wǎng)站不允許以/ wp-admin（網(wǎng)站后端）開(kāi)頭的URL被抓取。通過(guò)指明哪些地方禁止這些URL，可以節(jié)省帶寬、服務(wù)器資源和爬網(wǎng)預(yù)算。

與此同時(shí)，搜索引擎爬蟲(chóng)抓取網(wǎng)站的重要部分時(shí)，不應(yīng)該受到禁止。

因?yàn)?txt是爬蟲(chóng)在抓取網(wǎng)站時(shí)看到的第一個(gè)文件，所以最好是將.txt指向站點(diǎn)地圖。可以在舊版的 中編輯和測(cè)試.txt文件。

在.txt的測(cè)試工具中，下面的網(wǎng)址欄輸入任何網(wǎng)址，就可以檢查這個(gè)網(wǎng)址能否被抓取，.txt文件中有沒(méi)有錯(cuò)誤和警告。

因?yàn)榕f版的 功能要比新版本的功能多一些，在技術(shù)SEO方面舊版本會(huì)更好用一些。

比方說(shuō)，舊版本可以查看站長(zhǎng)工具上的抓取統(tǒng)計(jì)信息區(qū)域（Craw Stats），對(duì)于了解網(wǎng)站的抓取方式會(huì)更加的方便。

這個(gè)報(bào)告有3個(gè)圖表網(wǎng)站建設(shè)，顯示了最近3個(gè)月的數(shù)據(jù)。

每天抓取的網(wǎng)頁(yè)數(shù)量、每天下載的千字節(jié)數(shù)、下載網(wǎng)頁(yè)所花費(fèi)的時(shí)間（以毫秒為單位），能夠顯示網(wǎng)站的抓取速度及和搜索引擎爬蟲(chóng)的關(guān)系。

搜索引擎爬蟲(chóng)定期訪問(wèn)某網(wǎng)站，并且這是一個(gè)快速而且容易被抓取的網(wǎng)站的話，這個(gè)網(wǎng)站就會(huì)有很高的抓取速度。

這些圖表數(shù)據(jù)如果能保持一致是最好的，任何重大波動(dòng)都會(huì)出問(wèn)題，可能是HTML損壞，內(nèi)容陳舊或.txt文件阻止了太多URL。

如果加載一個(gè)頁(yè)面需要很長(zhǎng)時(shí)間，表示爬蟲(chóng)爬取時(shí)間太長(zhǎng)，建立索引速度較慢。

還可以在新版的 查看覆蓋率報(bào)告中的抓取錯(cuò)誤。

這些地方都是有爬取問(wèn)題的頁(yè)面，點(diǎn)擊可以顯示這些頁(yè)面。檢查這些頁(yè)面是什么原因?qū)е碌呐廊?wèn)題，最好不是很重要的頁(yè)面，盡快解決這些問(wèn)題。

如果你在Craw Stats或覆蓋率報(bào)告中，發(fā)現(xiàn)重大的抓取錯(cuò)誤或波動(dòng)，可以對(duì)日志文件進(jìn)行分析查看。

從服務(wù)器日志訪問(wèn)原始數(shù)據(jù)可能會(huì)比較麻煩，因?yàn)榉治鍪歉呒?jí)設(shè)置，但它有助于準(zhǔn)確理解哪些頁(yè)面可以被抓取、哪些不能抓取。

哪些頁(yè)面會(huì)被優(yōu)先處理，哪些區(qū)域出現(xiàn)了預(yù)算浪費(fèi)的情況，還有爬蟲(chóng)在爬取網(wǎng)站的過(guò)程中收到哪些服務(wù)器響應(yīng)。

02

檢查站點(diǎn)可編入索引

檢查爬蟲(chóng)是否可以抓取網(wǎng)站之后，還要搞清楚網(wǎng)站上的網(wǎng)頁(yè)有沒(méi)有編入索引。

有很多方法可以檢查這一問(wèn)題網(wǎng)站建設(shè)，前面用到的 覆蓋報(bào)告，就可以用來(lái)查看每個(gè)頁(yè)面的狀態(tài)。

從這個(gè)報(bào)告中我們看到四個(gè)數(shù)據(jù):

還可以使用URL檢查工具分析特定的URL。

如果某主頁(yè)的流量有所下降，就該檢查這個(gè)新加入的網(wǎng)站是不是已經(jīng)編入索引，或者對(duì)這個(gè)網(wǎng)址進(jìn)行問(wèn)題排查。

還有一個(gè)好方法可用來(lái)檢查網(wǎng)站能否索引，就是使用爬取工具，推薦 Frog。

Frog是最強(qiáng)大、使用最普遍的爬取軟件之一。它有付費(fèi)版本和免費(fèi)版本，可以根據(jù)網(wǎng)站的大小進(jìn)行選擇。

免費(fèi)版本的功能有限，抓取的數(shù)量限于500個(gè)URL。而付費(fèi)版本的年費(fèi)是149英鎊，有很多的功能和可用API，沒(méi)有抓取限制。

運(yùn)行爬取軟件之后，就可以看到和索引相關(guān)的兩列結(jié)果。

：可索引性，顯示URL能否被編入索引，是“可索引”還是“不可索引”。

：可索引性狀態(tài)，顯示URL不可索引的原因是什么，是不是被編為了另一個(gè)URL，或是帶有無(wú)索引標(biāo)簽。

這個(gè)工具是批量審核網(wǎng)站一種很好的方式，可以了解哪些網(wǎng)頁(yè)正在被編入索引，哪些網(wǎng)頁(yè)不可被編入索引，這些都會(huì)顯示在結(jié)果中。

對(duì)列進(jìn)行排序并查找異常的情況，使用 ，能有效識(shí)別出可索引的重要頁(yè)面。

最后，還可以使用這個(gè)網(wǎng)站檢查你的頁(yè)面有多少是已經(jīng)索引的： 。

在搜索欄中輸入site：并按Enter鍵，就可以看到網(wǎng)站上已被編入索引的每個(gè)網(wǎng)頁(yè)。

示例：

這里我們看到有大約95,000個(gè)已經(jīng)索引的URL，通過(guò)這個(gè)功能我們知道現(xiàn)在存儲(chǔ)了多少網(wǎng)頁(yè)。

如果你的網(wǎng)頁(yè)數(shù)量和被谷歌索引的數(shù)量差很多。

那么你應(yīng)該思考：