開(kāi)淘寶店鋪?zhàn)约壕W(wǎng)站首頁(yè)不被收錄是怎么回事呢？

         )的網(wǎng)址Disallow:/.jpg$禁止抓取網(wǎng)頁(yè)所有的.jpg格式的圖片Disallow:/ab/禁止爬取ab文件夾下面的文件Allow:/cgi-bin/這里定義是允許爬尋cgi-bin目錄下面的目錄Allow:/tmp這里定義是允許爬尋tmp的整個(gè)目錄Allow:.htm$僅允許訪問(wèn)以”.htm”為后綴的URLAllow:.gif$允許抓取網(wǎng)頁(yè)和gif格式圖片Sitemap:網(wǎng)站地圖告訴爬蟲(chóng)這個(gè)頁(yè)面是網(wǎng)站地圖例如你的站是灰色行業(yè)或者黑色行業(yè)網(wǎng)站剛剛制作出來(lái)就上線，百度蜘蛛來(lái)爬取之后發(fā)現(xiàn)沒(méi)有任何有用的價(jià)值網(wǎng)站制作完先本地測(cè)試或者服務(wù)器域名測(cè)試，測(cè)試無(wú)誤后開(kāi)始添加內(nèi)容，最起碼把內(nèi)容填充滿頁(yè)面之后再解析域名上線，百度蜘蛛再來(lái)抓取能抓取到很多內(nèi)容常規(guī)的相關(guān)寫法（更多方法可咨詢深圳云天下信息技術(shù)有限公司）：User-agent:*這里的*代表的所有的搜索引擎種類，*是一個(gè)通配符Disallow:/admin/這里定義是禁止爬尋admin目錄下面的目錄Disallow:/require/這里定義是禁止爬尋require目錄下面的目錄Disallow:/ABC/這里定義是禁止爬尋ABC目錄下面的目錄Disallow:/cgi-bin/*.htm禁止訪問(wèn)/cgi-bin/目錄下的所有以”.htm”為后綴的URL(包含子目錄)在套用模板的基礎(chǔ)上適當(dāng)?shù)母囊幌虏季?，稀釋一下網(wǎng)絡(luò)相似度，能提高收錄的成功率robots設(shè)置了蜘蛛禁止爬取或者你的站內(nèi)沒(méi)有robots文件百度當(dāng)然不會(huì)讓你收錄的利用heimao技術(shù)從代碼上騙過(guò)百度蜘蛛，認(rèn)為你是正規(guī)行業(yè)，而客戶訪問(wèn)的時(shí)候顯示的是你要宣傳的產(chǎn)品*禁止訪問(wèn)網(wǎng)站中所有包含問(wèn)號(hào)(網(wǎng)站必須要有robots文件                

這個(gè)問(wèn)題還有疑問(wèn)的話，可以加幕.思.城火星老師免費(fèi)咨詢，微V.信X號(hào)是為: msc496。

推薦閱讀：

如何入駐淘寶區(qū)域零售？

淘寶尺碼助手在哪里看？如何設(shè)置？

淘寶訪客數(shù)低是為什么？淘寶訪客數(shù)下降怎么辦？