由於文字描述太過恐怖,大部分站長看到 "排名降低" 這樣的字眼肯定會嚇到,但實際上根本不是那樣子,我也不清楚 Google 為何不針對自家產品 Blogger 調整一下說明。
因為這個狀況接到非常多客戶或讀者的詢問,那麼就用一篇文章整理一下事件發生的原因。
一、Robots.txt 設定
1. 定義
要瞭解 Index Coverage 之前需要先知道什麼是 Robots.txt:
- 可參考官網說明「建立 robots.txt 檔案」
- 也可參考這篇「Blogger開放搜尋偏好設定 可自訂robots.txt」
簡單說,Robots.txt 就是給 Google 機器人看的指示說明,告訴 Google 什麼頁面你可以來爬、什麼頁面不准爬。
這個文件內容可以算是「君子協議」,Google 機器人會遵守,但其他搜尋引擎、或是其他爬蟲會不會遵守,就要看是不是君子了。
2. Blogger 預設值
Blogger 後台可以改 Robots.txt 的內容:
- 設定 → 搜尋偏好設定 → 自訂 robots.txt → 編輯
但我會建議 Blogger 站長完全不理會 Robots.txt,因為 Blogger 的 Robots.txt 預設內容並沒有什麼問題,若是改了到時害網站文章無法被 Google 收錄反而更慘。
如果自認很懂 SEO 的站長,才適合改這個檔案。
想要瞭解 Blogger 預設值,把以下網址改為自己的網域就可看到:
https://www.wfublog.com/robots.txt
3. 內容說明
進入該網址後內容大致像這樣:
簡單翻成中文:
- 允許所有爬蟲
- 不允許爬取 /search 這個目錄的所有網頁
- 允許爬取 / 根目錄所有網頁
- 指定網站地圖的位置
裡面的重點在於 "不允許爬取 /search 這個目錄的所有網頁",也就是 Blogger 網址中,你看到所有包含 "/search" 字串的網頁都不允許爬取,包含了以下頁面:
- 標籤頁面
- 搜尋頁面
- 較新的文章、較舊的文章頁面
想瞭解更多的話,可參考「Blogger 七種頁面形態判斷語法詳解」。
二、Index Coverage 問題
1. Blogger 的設計
Blogger 預設讓這些標籤、搜尋等頁面不被爬取,是有其原因的。這些頁面的內容,其實跟文章頁面的文字會重複,因此把標籤、搜尋等頁面進行索引的話,Google 爬蟲等於在做重複的工作,一份文件拷貝多份帶回家,不但佔空間,日後進行重複資料的比對、建立索引時,也浪費自己的時間。
所以 Blogger 的 Robots.txt 預設值完全沒有任何問題,但是對於不了解以上原理的站長,在舊版 Google Console 就會有這樣的提問:
上面這個 Blogger 中文論壇討論串的提問,有附上舊版 Google Console 產生的錯誤訊息畫面。
不過其實這現象一點問題都沒有,是自然而然會發生的事,所以完全不需要解決。
2. Index Coverage 問題
而現在會出現的「Index Coverage 問題」,其實跟「網頁遭 robots.txt 封鎖」是差不多的狀況,詳情可參考官網說明「索引涵蓋範圍狀態報表」。
因為 Blogger 預設的 Robots.txt 讓標籤、搜尋頁面不讓搜尋引擎爬取,所以「 Index Coverage 訊息」也是必然現象。
從頭看到這裡的讀者,只要你沒動過 Robots.txt,那麼可以安心不理會這則訊息了。
三、補充說明
如果不是把 SEO 當作興趣研究的站長,其實 Google Console 的訊息多半可以不必理會。
對於「網站管理員」的基本使用,我建議只要參考這篇「Google 網站管理員的活用方法﹍我的例行待辦事項」即可。定期照著做,就能解決大多數網站產生的問題。
更多 Google 網站管理員使用技巧:
这几天我blogger后台怎么变成英文界面的了呢?博主是否遇到过这种奇葩事。
回覆刪除