国产精品久久综合亚洲AV,刺激的乱亲小说43部分阅读 ,WWW夜插内射视频网站,护士做爰乱高潮全过程

中山php|最優(yōu)網(wǎng)絡(luò)中山做網(wǎng)站 中山php建站

最優(yōu)良人

Posts Tagged With: robots

robots.txt文件的規(guī)則以及限制目錄帶不帶斜杠的區(qū)別

2011/09/03 at 10:11 » Comments (349)

一個(gè)網(wǎng)站的robots文件對(duì)于做seo是至關(guān)重要的,它可以限制搜索引擎蜘蛛抓取不該收錄的目錄或者頁(yè)面,避免資源的浪費(fèi),它的規(guī)則主要有以下幾點(diǎn): 1) User-Agent鍵 后面的內(nèi)容對(duì)應(yīng)的是各個(gè)具體的搜索引擎爬行器的名稱。如百度是Baiduspider,谷歌是Googlebot。 一般我們這樣寫(xiě): User-Agent: * 表示允許所有搜索引擎蜘蛛來(lái)爬行抓取。如果只想讓某一個(gè)搜索引擎蜘蛛來(lái)爬行,在后面列出名字即可。如果是多個(gè),則重復(fù)寫(xiě)。 注意:User-Agent:后面要有一個(gè)空格。 在robots.txt中,鍵后面加:號(hào),后面必有一個(gè)空格,和值相區(qū)分開(kāi)。 2)Disallow鍵 該鍵用來(lái)說(shuō)明不允許搜索引擎蜘蛛抓取的URL路徑。 例如:Disallow: /index.php 禁止網(wǎng)站index.php文件 Allow鍵 該鍵說(shuō)明允許搜索引擎蜘蛛爬行的URL路徑 例如:Allow: /index.php 允許網(wǎng)站的index.php 通配符* 代表任意多個(gè)字符 例如:Disallow: /*.jpg 網(wǎng)站所有的jpg文件被禁止了。 結(jié)束符$ 表示以前面字符結(jié)束的url。 例如:Disallow: /?$ 網(wǎng)站所有以?結(jié)尾的文件被禁止。 應(yīng)該注意的是: 1,在"/robots.txt"文件中,至少要有一條Disallow記錄,允許收錄優(yōu)先級(jí)要高于禁止收錄,如 User-agent: * Allow: /a/b.htm Disallow: /a/ 則a目錄下b.htm可以訪問(wèn),其他禁止 2,注意路徑后面加斜杠和不加斜杠的區(qū)別 如果目錄后邊帶斜杠,那么訪問(wèn)不帶斜杠的地址時(shí)還是可以訪問(wèn)目錄首頁(yè),如果想屏蔽掉整個(gè)目錄,建議不帶斜杠 Allow或Disallow的值 URL 匹配結(jié)果 /tmp /tmp yes /tmp /tmp.html yes /tmp /tmp/a.html yes /tmp/ /tmp no /tmp/ /tmphoho no /tmp/ /tmp/a.html yes /Hello* /Hello.html yes /He*lo /Hello,lolo yes /Heap*lo /Hello,lolo no html$ /tmpa.html yes /a.html$ /a.html yes htm$ /a.html no   3,robots文件只有放在根目錄才有效,放在子目錄沒(méi)效。 4,robots.txt文件用法舉例 例1. 禁止所有搜索引擎訪問(wèn)網(wǎng)站的任何部分 User-agent: * Disallow: / 例2. 允許所有的robot訪問(wèn) (或者也可以建一個(gè)空文件 “/robots.txt”) User-agent: * Disallow: 或者 User-agent: * Allow: / 例3. 僅禁止Baiduspider訪問(wèn)您的網(wǎng)站 User-agent: Baiduspider Disallow: / 例4. 僅允許Baiduspider訪問(wèn)您的網(wǎng)站 User-agent: Baiduspider Disallow:  User-agent: * Disallow: / 例5. ...more »
温州市| 洞口县| 澳门| 茌平县| 文成县| 拜城县| 西乌珠穆沁旗| 彭水| 敦化市| 随州市| 林州市| 光泽县| 栖霞市| 绩溪县| 金溪县| 永修县| 宣城市| 泰顺县| 保亭| 岳阳县| 扎赉特旗| 思南县| 高陵县| 天峨县| 安福县| 卓尼县| 永修县| 耿马| 乳山市| 乃东县| 莲花县| 吴堡县| 莲花县| 夏邑县| 大新县| 临洮县| 湟中县| 林周县| 得荣县| 嘉黎县| 盐边县|