1、查看搜索引擎蜘蛛的抓取概要分析，了解各個搜索引擎蜘蛛的訪問次數，總停留時間，總抓取量和所占比例，下面是朋友網站的概要分析(利用光年日志分析工具查看結果)，其中可以很清楚的看出，百度蜘蛛對于網站的抓取量還是不錯的，有292詞，訪問次數有126次，總停留時間8.873小時，所占所有蜘蛛比例的41.011%。
網站LOG日志概要分析有的朋友可能會產生疑惑，既然百度蜘蛛總停留時間這么長，單次停留時間也不低(pS：蜘蛛單次停留時間=總停留時間/訪問次數=0.0704小時/次=4.225分鐘)，那么為什么網站的收錄卻跟不上呢?帶著這樣的疑問，下面再分析下百度蜘蛛對于其他頁面的抓取。
2、查看百度蜘蛛對于網站目錄抓取的情況，從下面的抓取圖中可以很清楚的看出百度蜘蛛對于home，product目錄的抓取還是比較多的，對于網站內部另外一個重要的目錄news抓取卻不多，而這個目錄就是網站每日更新做的比較多的工作目錄。蜘蛛還抓取了一些后臺文件目錄如upload，files，img等。
網站目錄抓取情況從上面的分析可以看出百度蜘蛛對于網頁內部的抓取是不合理的，問題主要是：1、網站內部結構對于news欄目抓取力度不足;2、home目錄作為社區，product目錄作為產品中心，分散了網站蜘蛛抓取的資源;3、網站對于一些不必要抓取的目錄沒有很好地限制。解決問題就需要從這三個方面入手。
1、引導蜘蛛更多的抓取news目錄下面的網頁，如針對更新的頁面創造更多的鏈接入口，其中包括站內的互相鏈接導入，站外的外鏈發布等。
2、查看網站的社區基本上已經沒有更新，可以考慮先將home目錄屏蔽掉，讓權重和蜘蛛更多的導入進news欄目。product目錄是一個比較重要的目錄，但是更多的應該引導其抓取沒有收錄的或者新的產品。查看網站產品頁面，發現對于相關產品推薦力度不夠，可以在這一塊進行改進。
3、運用robots文件或者nofollow標簽，對于網站不重要的目錄或者頁面，以及后臺的一些文件進行限制。
另外，還有一點思考，百度蜘蛛停留時間比較多，但是抓取量不算特別多，還需要查看百度蜘蛛抓取頁面返回的狀態碼200，304和404所占比例。如果304比較多，那么是否考慮將這些蜘蛛資源進行合理的分配到未抓取的頁面。如果404頁面比較多，那就要考慮蜘蛛是不是被帶進一些陷阱里面，檢查網站內部造成404狀態碼的頁面，并加以改正。

本文標題：網站收錄和快照不及時怎么辦
分享路徑：http://www.2m8n56k.cn/news47/293297.html

成都網站建設公司_創新互聯，為您提供品牌網站建設、移動網站建設、微信公眾號、動態網站、域名注冊、網站建設

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：[email protected]。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯