google不收錄網(wǎng)站的處理方法

本人2個小站分別是2月底和3月初上線， 其中一個站在上線第2天百度就成功收錄， 另一個大約在第3天百度也收錄進去了， 此時google還完全沒動靜。 新站考察期， 收錄得慢點還是可以理解的， 這是我當時的想法。

　　一直到3月中旬， 百度也就收錄了2個站的首頁， yahoo勤快點， 收了大約100個頁面。 這時候我就有點迷糊了， 在我印象中， 百度是個難伺候的主， 一般我的網(wǎng)站， 百度Vs谷歌的收錄數(shù)量大約在1:3左右， 感覺百度的要求比google要嚴格得多。 為啥這次對我的新站考察期這么長?于是用同樣的網(wǎng)站程序， 重新申請域名在另外的空間上架站， 3天后百度google均正常收錄， 看來google不收錄我的站是有原因的。

　　打開IIS日志檢查googlebot的爬行記錄， 看到googlebot只有訪問網(wǎng)站首頁的記錄， 完全沒訪問其他頁面的記錄。 并且日志如下反映:

　　2009-03-01 00:07:10 W3SVC9361715 192.168.0.3 GET /index.html - 80 - 222.73.247.122 Googlebot/2.1+(+http://www.google.com/bot.html) 200 0 0 1236

　　基本上googlebot每天從00:07左右開始到我的站爬行。 但是全部的爬行記錄都是針對首頁的， 在爬行記錄的最后返回代碼均為200 0 1236。

　　在這里， 200 0 1236代表的是什么?我查遍了google yahoo baidu ， 談論200 0 64的很多， 可就是沒有1236的解釋。 這段時間人真的是要抓狂!后來終于發(fā)現(xiàn)了一篇文章談到了1236的含義。 他是這樣解釋的：

　　Google降權(quán)與200 0 1236蜘蛛狀態(tài)碼 前幾天以為自己服務器上的站點所有在Google降權(quán),在Google的Site結(jié)果里出現(xiàn)幾種奇怪現(xiàn)象;

　　1.收錄大減。

　　2.所有網(wǎng)站首頁Google捉取不完整(這是第一見到的奇怪現(xiàn)象)。

　　3.網(wǎng)站IIS日志分析看到(200 0 1236 蜘蛛狀態(tài)碼)這也是第一次見到這。

　　從以后分析網(wǎng)站所有給Google降權(quán)， 由于群站引起， 都是猜想起， 開始自己測試找到原因,三天后更換了服務器ISP商也換了IP， 最后的測試結(jié)果是更換了IP后問題依然， 肯定了這情況與IP無關， 之后再測試是否與自己網(wǎng)站有關， 之后把自己的某一些網(wǎng)站轉(zhuǎn)到了外省的空間里， 網(wǎng)站又變得了收錄正常， 在此也肯定了不是自己網(wǎng)站的問題， 之后覺得就是自己服務器可能設置了什么或ISP商哪里設置的問題。

　　一般正常的蜘蛛狀態(tài)碼200 0 0或 200 0 64為正常的， 出現(xiàn)了200 0 1236這情況在論壇里有人說是"1236 本地系統(tǒng)已經(jīng)終止網(wǎng)絡連接"我也查了相關資料原來是指Win系統(tǒng)網(wǎng)站錯誤提示的意思， 那自己就肯定了是這么回事， 當Google蜘蛛訪問網(wǎng)站首頁時， 當他只訪問了網(wǎng)站的幾K后， 網(wǎng)絡就終止了他的訪問。 就出現(xiàn)了這一種情況。 結(jié)果發(fā)現(xiàn)不是網(wǎng)站給Google集體降權(quán)， 200 0 1236 蜘蛛狀態(tài)碼也顯示了不是自己網(wǎng)站問題， 而是ISP商的硬件防火墻所引起的。

　　既然有可能是防火墻， 而且極可能是防火墻造孽， 那就驗證一下防火墻是否對googlebot的正常抓取進行了攔截。 但是又不能把服務器直接放置在公網(wǎng)上進行測試， 那會成肉雞的。 最后我用的www.myip.cn讀取網(wǎng)站的head和body記錄。 在google不收錄期間， 在myip查詢我的網(wǎng)站， head和body全部查詢不出來， 總是顯示error ， 當我把服務器直接接入到公網(wǎng)上， 再去myip查詢我的網(wǎng)站， head和body數(shù)據(jù)讀取正常!看來確實是防火墻的問題。

　　接下來的任務就簡單了， 4月2號上去升級防火墻軟件， 然后再反復用myip查詢網(wǎng)站測試， 直到當你修改網(wǎng)站的關鍵字或者網(wǎng)站描述后， 在myip能正常顯示你網(wǎng)站的數(shù)據(jù)為止。 防火墻搞定后， 繼續(xù)觀察IIS日志， 200 0 1236已經(jīng)完全消失， 取代的全部是200 0 0 的正常訪問記錄。 3號去google查了下， 沒收錄， 4號去查， 還是沒， 要崩潰了。 難道是windows server的問題?5號早上起床后， 下定決心準備去重裝服務器系統(tǒng)， 在下手前我去google上site了一下， www.189book.com收錄了3頁。 www.cn-vogue.com收錄了17頁。 額滴神吶， 終于收錄了。 yahoo都收了1000+了， 建站也超過1個月了， google的大更新也錯過了， 他終于收錄了。 我不知道應該是種什么樣的心情。

　　在解決google不收錄網(wǎng)站的問題期間， 查閱了大量的資料， 比如IIS日志里win32代碼(Windows網(wǎng)絡消息號碼)詳細列表， 還有一些其他的資料， 我放在自己的小論壇里了， 大家要是有興趣， 可以去查一下， 在這里就不多說了。