關于百度站長平臺網頁抓取功能解析

2013-04-27 分類：網站建設

關于百度站長平臺網頁抓取功能解析：

網頁抓取功能主要包括索引量、Robots、鏈接提交、死鏈提交、抓取頻次、抓取診斷、抓取異常等內容。我們通過索引量可以看到站點在一定時間內被索引的量和變化趨勢,能及時掌握網站的實際情況,并且可以指定規則,檢測某個頻道或者專題被收錄和索引的情況。

百度站長網頁抓取功能

鏈接提交包括主動推送、自動推送、 Sitemap、手動提交四種提交方式。其中主動推送是最快捷的方式,能夠確保當天新鏈接被收錄進來。自動推送是最便捷的方式,把JS代碼部署到每一頁面,頁面被瀏覽時自動推送到百度,一般都與主動推送結合使用。Sitemap提交慢于主動推送,需要定期更新。手動提交比較機械化,但是可以把鏈接一次性提交給百度。

死鏈提交主要是處理網站上已存在的死鏈,當網站死鏈數據累積過多,并且被展示到搜索結果頁中時,對網站本身的訪問體驗和用戶轉化都產生了負面影響。另外,百度檢查死鏈的流程也會為網站帶來額外負擔,影響網站其他正常頁面的抓取和索引。死鏈提交方式包括文件提交和規則提交。文件提交是將已制作好的死鏈文件上傳至網站根目錄,然后將死鏈文件地址提交。規則提交是指將相同鏈接前綴下的死鏈寫成鏈接規則,且與其匹配的鏈接全部都是死鏈,然后將這個死鏈規則提交。目前支持兩種死鏈規則:目錄規則,以“”結尾的前綴;CGI規則,以“?”結尾的前綴。

Robots功能用于檢測與更新網站的 robots. txt文件,如果網站長時間不被搜索引擎抓取,可能是 robots.txt文件出了問題,需要對其進行檢測更新。需要注意的是, robots.xt文件大不超過48k,目錄不超過250個字符。

抓取頻次功能可以監測蜘蛛抓取網站的頻次和每次抓取所用時間。

抓取診斷功能可以監測蜘蛛抓取網站是否正常,是否能夠正常抓取網站內容。每個站點每周最多能夠抓取整段200次,通過抓取整段可以監測網站內容是否符合預期,是否被加了黑鏈,是否隱藏文本,連通是否正常等。

抓取異常監測可以監測網站異常和鏈接異常兩個方面。網站異常會出現DNS異常、連接與抓取超時、鏈接錯誤的情況;鏈接異常會出現訪問被拒、找不到頁面、服務器錯誤、其它錯誤等情況。

網站題目：關于百度站長平臺網頁抓取功能解析
文章轉載：http://www.2m8n56k.cn/news5/555.html

成都網站建設公司_創新互聯，為您提供外貿建站、網頁設計公司、域名注冊、商城網站、動態網站、全網營銷推廣

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：[email protected]。內容未經允許不得轉載，或轉載時需注明來源：創新互聯

猜你還喜歡下面的內容

中文字幕第五页-中文字幕第页-中文字幕韩国-中文字幕最新-国产尤物二区三区在线观看-国产尤物福利视频一区二区

關于百度站長平臺網頁抓取功能解析