點擊添加圖片描述（最多60個字）編輯

對于目前高速發展的互聯網信息時代，大數據用戶信息等等已經成為了企業競爭的核心資源，這種資源的競爭在一方面也是對市場的競爭，畢竟占據了用戶基數就等于贏得了市場先機。

還記得去年的一則新聞嗎？兩女子在逛街交流著附近哪里有洗手間，突然手機某款APP提示消息已經查找到附近地點，這個提示讓該女子認為這款APP非法錄音，并告上了法院。

這種在對方沒有授權的情況下盜取信息就是違法行為，那么有著異曲同工之處的“爬蟲”技術。到底算不算違法呢？

首先“爬蟲”技術是無罪的，關鍵是在于如何去利用，有人利用python獲取權限內的數據加以分析提升能力。也有人將代碼上傳網絡接口抓取數據唯利是圖。這就是二者的區別。

今天就給大家科普一下“網絡爬蟲”的規范操作。

一．你可以在對大眾信息公開的網站上面爬取信息，而且是不具備傳播的特性。比如你想爬取某個車站哪個時間段的所有車輛發車時間，這個是ok的。

二.爬取非商業網站

如果爬取對象是對外提供公開查詢服務的網站的公開信息，如公檢法機關的官網、政府部門的官網、事業單位的官網等，不構成侵權或犯罪，可以抓取。

三.爬取商業網站

沒有設置反爬聲明或采取反爬技術措施的各類商業網站，一般不限制爬取數據，但也并不意味著可以隨意抓取。

以上就是關于爬蟲可以進行活動的一個范圍區間，但是關于這項技術其實還有很多法律約束，那么它的哪些動作是違法的呢。

1.首先是爬取有反爬聲明的網站數據

當某網站聲明了robots協議——即網絡爬蟲排除標準時，數據爬取方應當對robots.txt中所記載的禁止爬取范圍進行規避，若不遵守該協議，則可能面臨法律風險。

2.爬取網站非公開信息數據

如果爬取的是某公司“內網”或后臺內部數據，采集的是非公開的信息，則系違法行為。

3.爬取網站受法律保護的信息或數據

如對方網站合法收集的個人敏感信息、對方公司受法律保護的特定數據或信息等。

爬蟲違規爬取數據容易造成侵犯商業秘密。另外要注意的是，如果爬蟲在爬取數據的過程中對相關網站造成干擾，可能會構成不正當競爭。

云立方網提出以下建議：

1. 遵守 Robots 協議，但有沒有 Robots 都不代表可以隨便爬；

2. 限制你的爬蟲行為，禁止近乎 DDOS 的請求頻率，一旦造成服務器癱瘓，約等于網絡攻擊；

3. 對于明顯反爬，或者正常情況不能到達的頁面不能強行突破，否則是 Hacker 行為；

4. 最后，審視清楚自己爬的內容，遵守國家相關法律法規，以下是絕不能碰的紅線（包括但不限于）：

4.爬取用戶個人數據非法牟利，包括模擬登錄他人賬號。如有其它問題可以登錄“云立方網”查看相關信息。以及最新代理IP的事宜。