【robots.txt怎么寫(xiě)】Robots.txt寫(xiě)法和放在哪里詳解

1、什么是Robots，熟練掌握Robots的基礎(chǔ)語(yǔ)法是一個(gè)合格的成都seoer的基礎(chǔ)技能，寫(xiě)出你對(duì)本節(jié)課的理解

Robots是指網(wǎng)站與搜索引擎之間的協(xié)議，下列三小點(diǎn)是需要自己記住的：

1.Robots是存放在網(wǎng)站根目錄

2.Robots.txt是放在網(wǎng)站根目錄

3.robots.txt文件名是不可修改的

4.Robots也是百度蜘蛛第一先抓取的

2、robots形式及定義：

User-agent:Baiduspider(定義所有的百度蜘蛛)

Disallow:/

User-agent：定義所有的蜘蛛

Baiduspider：百度蜘蛛

Googlebot：谷歌機(jī)器人

MSNBot：msn機(jī)器

Baiduspider-image：百度圖片

Disallow:定義那些文件可以抓取，那些文件不可以抓取

Allow:允許

小結(jié)：網(wǎng)站優(yōu)化必須要有robots，robots格式區(qū)分大小的，區(qū)分大小寫(xiě)格式為：Disallow首字母必須是大寫(xiě)的，在本地新建記事本編輯時(shí)需要注意的是：輸入法中文要切換成英文，例如：

同時(shí)需要注意的是：在編輯時(shí)Disallow:/要空一格如下圖所示

*：定義所有的蜘蛛通配符

/：通配符拒絕百度蜘蛛訪(fǎng)問(wèn)訪(fǎng)問(wèn)網(wǎng)站根目錄的文件，就是全部的意思

Robots生效時(shí)間是多少，是由百度決定的，有可能是1個(gè)月或者2個(gè)月

附注：放行也是需要生效時(shí)間的

$：結(jié)束符

附注：同時(shí)也需要注意的是，網(wǎng)站動(dòng)態(tài)的路徑也要用robots進(jìn)行屏蔽，在這個(gè)前提需要做的是，要了解每個(gè)文件下的數(shù)據(jù)是用來(lái)做什么用的，代表什么意思，自己下面也知道如何運(yùn)用robots進(jìn)行操作。

網(wǎng)站標(biāo)題：【robots.txt怎么寫(xiě)】Robots.txt寫(xiě)法和放在哪里詳解
本文來(lái)源：http://www.2m8n56k.cn/news/84029.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營(yíng)銷(xiāo)型網(wǎng)站建設(shè)、標(biāo)簽優(yōu)化、App開(kāi)發(fā)、電子商務(wù)、企業(yè)網(wǎng)站制作、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：[email protected]。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)