事情還得從年初開(kāi)始。年初我負(fù)責(zé)的一個(gè)網(wǎng)站因?yàn)榫W(wǎng)站剛建好，內(nèi)容還沒(méi)填充完整，大家的觀點(diǎn)不都是沒(méi)建好的網(wǎng)站不要給搜索引擎抓取嘛。我用robots.txt文件把網(wǎng)站根目錄屏蔽所有搜索引擎抓取，等到一個(gè)月之后，填充得已經(jīng)差不多了，我就開(kāi)放蜘蛛抓取。我不僅有提交首頁(yè)網(wǎng)址給百度，提交網(wǎng)址診斷，而且還發(fā)了不少外鏈，但一天一天過(guò)去，在百度上面SITE網(wǎng)站就是一個(gè)收錄都沒(méi)有。我就納悶了，是不是我什么地方設(shè)置錯(cuò)誤了呢？結(jié)果在谷歌上面site了一下已經(jīng)有上百個(gè)收錄了，306，搜狗上面也有少則幾個(gè)多則十幾個(gè)收錄了。于是我不得不認(rèn)為是robots屏蔽，百度長(zhǎng)時(shí)間未反應(yīng)過(guò)來(lái)導(dǎo)致的。
前兩個(gè)月，我又有一個(gè)新站重新建好開(kāi)始填充內(nèi)容，也是把網(wǎng)站屏蔽著，結(jié)果到現(xiàn)在都兩個(gè)月過(guò)去了，可是還是不收錄，首頁(yè)還是提示“由于該網(wǎng)站的robots.txt文件存在限制指令，系統(tǒng)無(wú)法提供該頁(yè)面的內(nèi)容描述?！倍雀缡珍浟?3條，搜狗收錄了1條，360收錄了45條。這次我這次徹底對(duì)度娘的robots文件反應(yīng)速度是無(wú)語(yǔ)了。
前兩天在群里與伙伴們討論，一位叫烏鴉的大神說(shuō)自己之前也遇到過(guò)幾次這樣的情況。
在此蝸牛SEO慎重的提醒各位朋友，新建的網(wǎng)站，千萬(wàn)不要先把網(wǎng)站文件上傳到空間后加個(gè)robots.txt，然后填充信息，填充好了才開(kāi)放抓取。如果可以在本地把網(wǎng)站建好，填充好內(nèi)容再上傳最好，否則上傳到空間加robots禁止抓取，等開(kāi)放抓取的時(shí)候，百度蜘蛛很可能又會(huì)幾個(gè)月時(shí)間都反應(yīng)不過(guò)來(lái)。幾個(gè)月后網(wǎng)站才被收錄，對(duì)網(wǎng)站優(yōu)化的周期影響無(wú)疑是巨大的。
