13503769300 947492898 limeiseo

信陽網(wǎng)站建設(shè)-信陽seo網(wǎng)站優(yōu)化排名「全網(wǎng)營銷」-利美網(wǎng)絡(luò)公司

營銷推廣
當(dāng)前位置:seo網(wǎng)站建設(shè) > 營銷推廣 >

robots的寫法,及作用

時(shí)間:2020-07-24 瀏覽:125次 欄目:營銷推廣
摘要:robots.txt 文件應(yīng)該放在網(wǎng)站根目錄下,用好robots是很容易為你網(wǎng)站提權(quán)的。主要作用是讓搜索引擎抓取什么東,不讓搜

robots.txt文件應(yīng)該放在網(wǎng)站根目錄下,用好robots是很容易為你網(wǎng)站提權(quán)的。主要作用是讓搜索引擎抓取什么,不讓搜索引擎抓取什么

一、robots.txt 的寫法:

1. User-agent: *
意思是允許所有搜索引擎收錄,星號(hào)代表所有。
2. Disallow:/
意思是禁止搜索引擎收錄頁面。

3. 禁止所有搜索引擎訪問網(wǎng)站的所有部分
User-agent: *
Disallow: /

4. 禁止百度索引你的網(wǎng)站
User-agent: Baiduspider
Disallow: /
5. 禁止Google索引你的網(wǎng)站
User-agent: Googlebot
Disallow: /
6. 禁止除Google外的一切搜索引擎索引你的網(wǎng)站

本文利美網(wǎng)絡(luò)(m.safe51.com.cn)整理發(fā)布

User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
7. 禁止除百度外的一切搜索引擎索引你的網(wǎng)站
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
8. 禁止蜘蛛訪問某個(gè)目錄
(例如禁止admincssimages被索引)
User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/
9. 允許訪問某個(gè)目錄中的某些特定網(wǎng)址
User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
Disallow: /images/
在SEO優(yōu)化過程中,對(duì)于蜘蛛的了解和控制至關(guān)重要,關(guān)于robot.txt的寫法還有很多,希望以上這些對(duì)大家有幫助。 limeiseo(加v分享)

                                           


二、robots.txt 注意事項(xiàng):

1. 如果你希望搜索引擎收錄網(wǎng)站上所有的內(nèi)容,那么就不要建立robots.txt文件。
2. 如果同時(shí)存在動(dòng)態(tài)和靜態(tài)鏈接,那么建議屏蔽動(dòng)態(tài)鏈接。
3. robots.txt只能是屏蔽站內(nèi)文件的,對(duì)站外文件沒有屏蔽功能。
4. User-agent,Allow,Disallow,Sitemap的首字母都是大寫的。
5. User-agent,Allow,Disallow,Sitemap的冒號(hào)后面都是有空格的,沒有寫空格直接寫接下來的內(nèi)容會(huì)出錯(cuò)。
6. 網(wǎng)站通常會(huì)屏蔽搜索結(jié)果頁面。因?yàn)樗阉鹘Y(jié)果頁和正常展示的內(nèi)容頁相比,標(biāo)題和內(nèi)容上相同的,而這兩個(gè)頁面鏈接是不同的。那搜索引擎該將這篇文章歸屬于哪個(gè)內(nèi)鏈呢,這樣就會(huì)造成內(nèi)鏈之間相互競爭,造成內(nèi)部資源損耗。 本文利美網(wǎng)絡(luò)(m.safe51.com.cn)整理發(fā)布
7. 建議屏蔽js文件。Disallow: /*.js$,以 .js 結(jié)尾的路徑統(tǒng)統(tǒng)被屏蔽,這樣就屏蔽了js文件。
8. 路徑是區(qū)分大小寫的。Disallow: /ab/ 和 Disallow: /Ab/ 是不一樣的。
9. robots.txt會(huì)暴露網(wǎng)站相關(guān)目錄,寫robots.txt時(shí)要考慮到這一點(diǎn)。
10. 有些seo會(huì)將文件直接備份在服務(wù)器中,文件是 .zip 格式,然后在robots.txt中屏蔽。個(gè)人不建議這樣,這就是明顯告訴人家你的備份文件位置。建議文件和數(shù)據(jù)都備份到本地。

11. 必須命名為:robots.txt 都是小寫,robot后面加"s"。


本文利美網(wǎng)絡(luò)(m.safe51.com.cn)整理發(fā)布

本文標(biāo)簽:

最新內(nèi)容
發(fā)貨逾期10天會(huì)罰多少錢?快手開店需
亞馬遜poa是什么意思?poa都包括哪些
2023年淘寶店鋪轉(zhuǎn)讓價(jià)格表多少-淘寶店
為什么網(wǎng)站首頁很重要?
domain指令怎么使用?
怎么樣網(wǎng)絡(luò)推廣(如何做好平臺(tái)推廣
淘寶自然搜索seo其實(shí)是一家風(fēng)投公司
【天津SEO】怎么做好一個(gè)好的標(biāo)題
彭健seo:行業(yè)大哥不好做——百度搜
如何做好網(wǎng)站內(nèi)部優(yōu)化?
熱門內(nèi)容
發(fā)貨逾期10天會(huì)罰多少錢?快手開店需
亞馬遜poa是什么意思?poa都包括哪些
2023年淘寶店鋪轉(zhuǎn)讓價(jià)格表多少-淘寶店
為什么網(wǎng)站首頁很重要?
domain指令怎么使用?
怎么樣網(wǎng)絡(luò)推廣(如何做好平臺(tái)推廣
淘寶自然搜索seo其實(shí)是一家風(fēng)投公司
【天津SEO】怎么做好一個(gè)好的標(biāo)題
彭健seo:行業(yè)大哥不好做——百度搜
如何做好網(wǎng)站內(nèi)部優(yōu)化?
內(nèi)容推薦
關(guān)鍵詞排名:網(wǎng)站關(guān)鍵詞排名怎么做
采集文章:采集的文章應(yīng)該如何修改
SEO自學(xué)大神教你如何自學(xué)seo知識(shí)
如何做好網(wǎng)站域名301重定向轉(zhuǎn)跳?
如何才能做好seo?seo優(yōu)化注意事項(xiàng)
nofflow標(biāo)簽的作用是什么
網(wǎng)站友情鏈接的作用
什么是閉站保護(hù)它的作用是什么
seo是什么及作用優(yōu)勢
strong標(biāo)簽對(duì)seo的作用
?