網站優化之防止網站被采集
2016-08-09 分類： 網站建設
采集就是使用程序通過自動化操作復制數據。
首先說明，只要是能讓瀏覽器訪問的，就沒有不能采集的。
但是可以通過一定的手段讓采集變得非常麻煩，進而在大量數據的情況下延遲采集完成時間，加大采集難度。
一般的情況略過不說，幾種情況比較特別的：
1、驗證來路，cookie，session這些，比如PHP可以用fsockopen自定義HTTPHeader，基本上這些方法沒什么效果。
2、限速，限制某段時間內打開頁面數量。這個只是推遲了下，大部分時間效果一般。比如某站限制一分鐘之內只能打開30個網頁，頁面大小平均30K，則用迅雷批量下載就OK了，設置限速為2K，一覺醒來什么都好了。這個方法效果也基本沒有。
3、比較特別的方法，設置一個數量級的閥值，達到這樣數量后，必須驗證方能繼續，比如打開10個頁面需要輸入驗證碼，這個時候只需要保證驗證碼不可識別，分配一個session，以后的瀏覽過程中用session保證用戶合法性，這樣不影響后續訪問，同時可以有效防止采集。
4、第三條對蜘蛛是致命的，此時可通過手機蜘蛛IP段，放行，其它的按照嚴格規則來。
5、3+4真是無敵的嗎?遠非可以高枕無憂，比如此站有10萬個頁面，則設置100個代理，在閥值前循環使用代理，這樣實際上繞過了3的限制。
6、還有別的辦法嗎?不能，因為你的網站能用瀏覽器打開。
首先說明，只要是能讓瀏覽器訪問的，就沒有不能采集的。
但是可以通過一定的手段讓采集變得非常麻煩，進而在大量數據的情況下延遲采集完成時間，加大采集難度。
一般的情況略過不說，幾種情況比較特別的：
1、驗證來路，cookie，session這些，比如PHP可以用fsockopen自定義HTTPHeader，基本上這些方法沒什么效果。
2、限速，限制某段時間內打開頁面數量。這個只是推遲了下，大部分時間效果一般。比如某站限制一分鐘之內只能打開30個網頁，頁面大小平均30K，則用迅雷批量下載就OK了，設置限速為2K，一覺醒來什么都好了。這個方法效果也基本沒有。
3、比較特別的方法，設置一個數量級的閥值，達到這樣數量后，必須驗證方能繼續，比如打開10個頁面需要輸入驗證碼，這個時候只需要保證驗證碼不可識別，分配一個session，以后的瀏覽過程中用session保證用戶合法性，這樣不影響后續訪問，同時可以有效防止采集。
4、第三條對蜘蛛是致命的，此時可通過手機蜘蛛IP段，放行，其它的按照嚴格規則來。
5、3+4真是無敵的嗎?遠非可以高枕無憂，比如此站有10萬個頁面，則設置100個代理，在閥值前循環使用代理，這樣實際上繞過了3的限制。
6、還有別的辦法嗎?不能，因為你的網站能用瀏覽器打開。
網頁標題：網站優化之防止網站被采集
轉載源于：http://www.2m8n56k.cn/news/41719.html
成都網站建設公司_創新互聯，為您提供搜索引擎優化、App設計、面包屑導航、企業建站、商城網站、云服務器
聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：[email protected]。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯
猜你還喜歡下面的內容
- 網站優化之搜索引擎更要考慮用戶需求 2016-08-09
- 怎樣做好行業網站的資訊？ 2016-08-18
- 如何做好網站內部SEO？ 2016-08-09
- 網站被降權后有哪些特征 2016-08-18
- 如何做好網站優化的關鍵詞部署 2016-08-09
- 網站優化要利用對手超越對手 2016-08-09
- 深圳網頁制作中如何正確選擇字體？ 2016-08-18
- 這樣設計網頁更簡約 2016-08-25
- 今年標志設計新趨勢 2016-08-25
- 網站優化的時候鏈接到哪里發？ 2016-08-09
- 如何對建站效果進行有效評估？ 2016-08-18
- 包裝設計由哪些元素組成？ 2016-08-25
- 字體在網頁設計中的運用技巧 2016-08-25
- 創新SEO：如何增加網站的外鏈數量 2016-08-09
- 創新SEO說說開放平臺和即時搜索 2016-08-08
- 為啥網頁設計師和網頁開發人員必須協作？ 2016-08-25
- 這些網頁設計技巧是你在學校學不到的 2016-08-25
- 網站的PR還是兩年前的，看來最近兩年沒有功勞啊 2016-08-18
- 行業網站要怎樣發展 2016-08-18