Q. Google Search Console一直無法找到我的網站?

Google搜尋引擎機制十分的先進,有些認真經營網站的站長為了加速網站被Google檢索,會製作一個文件檔案像是robots.txt與robots.xml等,專門給Googlebot搜尋機器人用於加速檢索。

一些人會誤以為如果沒有製作robots.txt與robots.xml會導致Google放棄檢索你的網站,其實只要你的網站有正常提交給Google,即便沒有特別製作給機器人看的文件,網站還是會被檢索,但是會比較慢被檢索。

然而某些特殊情況下,Googlebot檢索機器人是無法進行檢索的。以下是三種Googlebot進行網站檢索時,最有可能出現的問題:

DNS:
DNS無法被找到,或DNS主機拒絕Google檢索,就會出現此問題。

防火牆:
主機若有防火牆抵擋DDos等攻擊時,就有可能會拒絕Google的檢索,若你的主機控制權不在你的手上,請與你的主機商詢問。

刻意排除:
例如在robots.txt添加nofollow與noindex的指令,就會拒絕Googlebot檢索你的網站,但這並不保證管用,順帶一提,也有添加nofollow與noindex指令的網站被檢索的案例,若要完全禁止Googlebot機器人檢索網站,防火牆可以達到更好的效果。

 

自行檢測你的網站是否有異狀,可以試著透過https://httpstatus.io/ 檢查你的網站的HTTP的狀態碼是否正常。若是出現錯誤碼但網站仍可以正常運行,可能就是網站受到防火牆保護,阻斷了某些查詢的請求,一般非系統管理員/主機管理員很難排除這個問題。

Googlebot機器人受阻相關文件(英文)
https://support.google.com/webmasters/answer/2387297?hl=en