如何使用Robots避免蜘蛛黑洞？
2022-11-13 分類： 網站建設
蜘蛛黑洞：
蜘蛛黑洞指的是網站通過極低的成本運營，制造出大量和內容相識但參數不同的動態URL ，像一個無限循環的“黑洞”將蜘蛛困住，蜘蛛花費太多的時間在網站，浪費了大量資源抓取的網頁為無效網頁。
如果你的網站存在蜘蛛黑洞現象，盡快的處理好，蜘蛛黑洞不利于網站的收錄，也會影響搜索引擎對網站的評分。
如何使用Robots避免蜘蛛黑洞？
如何利用Robots避免蜘蛛黑洞操作：
普通的篩選結果頁基本都是使用靜態鏈接，比如：
http:// bj.XXXXX. com/category/zizhucan/weigongcun
當用戶選擇不同排序后，會自動生成帶有不同參數的動態鏈接，即使選擇是同一種排序條件，生成的參數也有不同的，比如：
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c
把帶有不同參數的結果排序頁面使用robots規則拒絕，告知搜索引擎，讓搜索引擎只抓取篩選結果頁，為用戶和搜索引擎節省時間。
Robots文件寫法中Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址，通過這種方式，如果網站的無效頁面不希望被搜索引擎收錄，可以屏蔽掉低質量的頁面，告訴搜索引擎哪些頁面可以抓取，有效的避免黑洞的形成。
文章題目：如何使用Robots避免蜘蛛黑洞？
文章鏈接：http://www.2m8n56k.cn/news49/212999.html
成都網站建設公司_創新互聯，為您提供品牌網站建設、網站內鏈、服務器托管、定制網站、網站策劃、微信公眾號
聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：[email protected]。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯
猜你還喜歡下面的內容
- 如何才能把網站運營好教你幾招 2022-11-13
- 電商運營有哪些？ 2022-11-13
- 如何進行網站推廣 2022-11-13
- 如何給自己的網站增添氣質- 2022-11-13
- 網站的“易用性”設計 2022-11-13
- 網站優化后為什么很長時間都沒好的排名 2022-11-13
- 原生APP究竟是如何開發的? 2022-11-13
- 企業做營銷型網站前的準備工作 2022-11-13
- 品牌營銷網站的價值體現 2022-11-13
- 中小企業全網營銷的幾種推廣方法 2022-11-13
- 新手如何推廣網站？ 2022-11-13
- 如何分辨關鍵詞的熱度？更好地提高關鍵詞排名 2022-11-13
- 如何構建良好的網站結構 2022-11-13
- 佛山建站：智能建站的優點有哪些 2022-11-13
- 分析企業商標的重要性 2022-11-12
- APP開發助力凈水行業快速發展 2022-11-12
- 網站域名管理權限忘記怎么辦？ 2022-11-12
- 網絡推廣的方式有哪些 2022-11-12
- 網站優化技巧初學者必備 2022-11-12