手机在线色视频_国产三级免费观看_亚洲午夜精品网_国产日韩欧美一二三区

您好!歡迎來(lái)到導(dǎo)航啦! 提交網(wǎng)站流程->注冊(cè)會(huì)員->提交網(wǎng)站->等待審核...
數(shù)據(jù)統(tǒng)計(jì):131個(gè)主題分類,24753個(gè)優(yōu)秀站點(diǎn),0個(gè)站點(diǎn)正在排隊(duì)審核,620篇站長(zhǎng)資訊
*
【通知】 測(cè)試。

警惕:新網(wǎng)站謹(jǐn)慎設(shè)置robots屏蔽

來(lái)源:網(wǎng)絡(luò) 瀏覽:604次 時(shí)間:2015-06-24

    眾所周知,SEO優(yōu)化中robots機(jī)器人是用來(lái)抓取網(wǎng)站內(nèi)容的,而robots.txt文件則是放在我們網(wǎng)站根目錄下面的一個(gè)文本文件,用來(lái)規(guī)定什么蜘蛛(機(jī)器人)可以抓取什么文件,不可以抓取什么文件。我們通常用robots來(lái)告訴搜索引擎,這個(gè)目錄你可以進(jìn),那個(gè)目錄你不可以進(jìn);這個(gè)文件你可以訪問(wèn),那個(gè)文件你不能訪問(wèn)。但是有些時(shí)候,robots文件,我們還是要謹(jǐn)慎使用的好。
    事情還得從年初開(kāi)始。年初我負(fù)責(zé)的一個(gè)網(wǎng)站因?yàn)榫W(wǎng)站剛建好,內(nèi)容還沒(méi)填充完整,大家的觀點(diǎn)不都是沒(méi)建好的網(wǎng)站不要給搜索引擎抓取嘛。我用robots.txt文件把網(wǎng)站根目錄屏蔽所有搜索引擎抓取,等到一個(gè)月之后,填充得已經(jīng)差不多了,我就開(kāi)放蜘蛛抓取。我不僅有提交首頁(yè)網(wǎng)址給百度,提交網(wǎng)址診斷,而且還發(fā)了不少外鏈,但一天一天過(guò)去,在百度上面SITE網(wǎng)站就是一個(gè)收錄都沒(méi)有。我就納悶了,是不是我什么地方設(shè)置錯(cuò)誤了呢?結(jié)果在谷歌上面site了一下已經(jīng)有上百個(gè)收錄了,306,搜狗上面也有少則幾個(gè)多則十幾個(gè)收錄了。于是我不得不認(rèn)為是robots屏蔽,百度長(zhǎng)時(shí)間未反應(yīng)過(guò)來(lái)導(dǎo)致的。

    前兩個(gè)月,我又有一個(gè)新站重新建好開(kāi)始填充內(nèi)容,也是把網(wǎng)站屏蔽著,結(jié)果到現(xiàn)在都兩個(gè)月過(guò)去了,可是還是不收錄,首頁(yè)還是提示“由于該網(wǎng)站的robots.txt文件存在限制指令,系統(tǒng)無(wú)法提供該頁(yè)面的內(nèi)容描述?!倍雀缡珍浟?3條,搜狗收錄了1條,360收錄了45條。這次我這次徹底對(duì)度娘的robots文件反應(yīng)速度是無(wú)語(yǔ)了。


    前兩天在群里與伙伴們討論,一位叫烏鴉的大神說(shuō)自己之前也遇到過(guò)幾次這樣的情況。
在此蝸牛SEO慎重的提醒各位朋友,新建的網(wǎng)站,千萬(wàn)不要先把網(wǎng)站文件上傳到空間后加個(gè)robots.txt,然后填充信息,填充好了才開(kāi)放抓取。如果可以在本地把網(wǎng)站建好,填充好內(nèi)容再上傳最好,否則上傳到空間加robots禁止抓取,等開(kāi)放抓取的時(shí)候,百度蜘蛛很可能又會(huì)幾個(gè)月時(shí)間都反應(yīng)不過(guò)來(lái)。幾個(gè)月后網(wǎng)站才被收錄,對(duì)網(wǎng)站優(yōu)化的周期影響無(wú)疑是巨大的。

轉(zhuǎn)載請(qǐng)注明-原文鏈接:警惕:新網(wǎng)站謹(jǐn)慎設(shè)置robots屏蔽

推薦站點(diǎn)

  • 網(wǎng)站庫(kù)網(wǎng)站庫(kù)

    網(wǎng)站庫(kù)是全人工編輯的開(kāi)放式網(wǎng)站分類目錄,收錄國(guó)內(nèi)外、各行業(yè)優(yōu)秀網(wǎng)站,旨在為用戶提供更全面的網(wǎng)站分類目錄檢索、優(yōu)秀網(wǎng)站參考、網(wǎng)站推廣服務(wù)、網(wǎng)站黃頁(yè)、網(wǎng)上娛樂(lè)沖浪導(dǎo)航網(wǎng)站。

    www.wangzhanku.com
  • 娛樂(lè)網(wǎng)知娛樂(lè)網(wǎng)知

    娛樂(lè)網(wǎng)知分類目錄-免費(fèi)外鏈、免費(fèi)網(wǎng)址收錄、免費(fèi)網(wǎng)站收錄,娛樂(lè)網(wǎng)知分類目錄完全免費(fèi)網(wǎng)址目錄收錄平臺(tái).

    www.yulewangzhi.com
  • 網(wǎng)站庫(kù)網(wǎng)站庫(kù)

    網(wǎng)站庫(kù),免費(fèi)網(wǎng)站收錄,網(wǎng)站目錄,分類目錄,,免費(fèi)收錄國(guó)內(nèi)外、各行業(yè)優(yōu)秀網(wǎng)站。

    www.wangzhanku.cn
  • 導(dǎo)航啦網(wǎng)站目錄導(dǎo)航啦網(wǎng)站目錄

    導(dǎo)航啦分類目錄-您網(wǎng)上沖浪導(dǎo)航專家!導(dǎo)航啦分類目錄-專業(yè)提供為廣大站長(zhǎng)收錄的開(kāi)放式網(wǎng)站分類目錄平臺(tái),收集國(guó)內(nèi)外、各行業(yè)優(yōu)秀正規(guī)網(wǎng)站,全人工編輯收錄,為百度、谷歌、有道、搜狗、必應(yīng)等搜索引擎提供索引參考, 同時(shí)也是站長(zhǎng)推廣網(wǎng)站值得信任選擇的平臺(tái)。

    www.yichen3d.com
  • 導(dǎo)航呀導(dǎo)航呀

    導(dǎo)航呀分類目錄www.daohangya.cn免費(fèi)收錄各類優(yōu)秀網(wǎng)站、網(wǎng)址的網(wǎng)站目錄,提供網(wǎng)址、網(wǎng)站目錄檢索,關(guān)鍵字搜索,網(wǎng)址搜索一站式網(wǎng)站目錄上網(wǎng)導(dǎo)航,免費(fèi)提交網(wǎng)址、網(wǎng)站即可快速提升網(wǎng)站品牌形象。

    www.daohangya.cn
  • 藥方大全網(wǎng)藥方大全網(wǎng)

    本站為您搜集整理了大量的驗(yàn)方偏方秘方古方等中藥方(中藥方劑)八萬(wàn)多個(gè)。你是你自己的中醫(yī),我是你的中藥方!中醫(yī)中藥秘方網(wǎng),偏方大全愿為您的健康保駕護(hù)航。

    www.zhongyf.com