基于python網絡爬蟲與信息提取的研究與分析(二)

(7)delete：頁面提交刪除的請求

這些方法對網絡爬蟲提供非常大的幫助，當發出請求之后，Requests庫還會根據編碼的頭部信息進行推測，再使用response.encoding屬性來改變亂碼，這樣就解決了一些亂碼的問題。Requests還有其他的功能，可以通過構造字典之后進行文件的上傳，還可以用于證書的驗證，檢驗證書是不是合法等功能。

三、 Scrapy框架的應用

Scrapy是一個基于Python語言爬蟲的框架，Scrapy框架和Requests庫都是用來爬取網頁數據的，相對于Requests庫來說，Scrapy框架適用于多個網頁的爬取，它適合大規模的數據爬取，但是運行的時間相對比較長，同時在使用時一定要遵循robots.txt文件協議。在這些爬蟲庫和框架里，對于小規模的數據爬取，介意大家使用Requests庫來進行爬取，每個爬蟲庫或框架都自身的優點和缺點，在生活日常生活中我們需要根據爬取數據類型和數據量來進行選擇[5]。

針對大規模下使用Scrapy框架對海量數據個提取與分析，與其他大規模爬取數據的框架進行比較，Scrapy是運行的速度較快，使用起來比較簡捷的框架，同時Scrapy還具有超強的擴展性，這使得在沒有核心的代碼也可以獲取比較全面的數據，另外這個框架里增添了很多功能，支持多類字符的識別等，它很好地從頁碼源的標簽來獲取數據，同時進行數據源的結構進行分析，通過系統內部的自動調整，最后提取統一的數據結構。這便于不僅便于用戶對數據的分析，同時還很存儲和管理起來也是非常的方便。

3.1 robots.txt文件的應用

robots.txt文件相當于網絡爬蟲的基本規則，也是一份爬蟲的協議，這是用來限定哪些網站可用爬取，哪些拒絕爬取，系統會自動或人工會識別robots.txt協議，人們再進行合理合法地使用爬蟲。它是一種提示或建議，并非強制性，如果網絡爬蟲不遵守規則，就會存在一定的法律風險。當然，眾多的服務器都是為人類提供資源共享的，只是對服務器進行小規模訪問，服務器不受到巨大的資源影響，可不遵守robots.txt，但是獲取的資源不可以進行商業用途。robots.txt文件有兩條語術：User_agent和Disallow,相當于網站是否允許被訪問。

這個文件協議給產家和客戶提供了一個保護性的門檻，建議客戶應該遵循文件協議，同時也對產家的產權起到保護的作用，這樣在一定程度上有效地防止對服務器性能進行騷擾，保護了一些重要信息的泄露[6]。

3.2 Beautiful Soup庫的應用

BeautifulSoup庫的作用是對服務器提供的任何格式進行爬取，相當于對獲取的HTML和XML頁面進行解析，更具體的說就是用來解析、遍歷、維護“標簽樹”的功能庫,這個功能庫可以很大程度節省爬蟲程序的時間，同時它還可用適當處理一些異常的問題。同時，Beautiful Soup庫的安裝比較簡單，調用的時候我們只需要輸入form bs4 import BeautifulSoup庫就可用引入這個庫，這樣就解決了我們不規則代碼的碼麻煩。

總起來說；在數據多樣、規則復雜的社會，人們很難去銘記這些語術表達的規則，所以對很多編程工具的使用存在很大的障礙，正是因為BeautifulSoup庫支持很多種解析器，處理很靈活，工作非常高效，人們可以不用編寫正則的編碼，處理器自動將不正規的轉化的正規的頁面信息顯現給人們，為訪問的客戶體更所需要爬取的數據，不斷節省了編碼的時間，同時爬取的數據也是非常的精確。當然，Beautiful Soup庫還有其他功能，這需要人們不斷對其進行研究和學習[7]。

3.3實例爬取的步驟

首先我們在自己電腦上安裝Requests庫和 Beautiful Soup庫，安裝的方法可以到網上來尋找，然后打開python工具引入Requests庫，同時我們從網上查找華為榮耀8的網站，再到python編寫代碼添加要爬取的網站，檢測其代碼狀態是否為200，如果是200則可以進行訪問，從實驗中顯示我們的爬取網頁是可以訪問的，然后再顯示代碼內容就可以獲取華為榮耀8的具體信息。

3.4實例爬取的結果

經過上面步驟來實現爬取數據，我們看可以看出實驗獲取的方法比較簡單，這是一些比較簡單的數據爬取，可以通過一行代碼就可以解決問題，這里我們還沒有用到BeautifulSoup庫，這里的BeautifulSoup庫對一些不規則的代碼它起到轉換顯示的作用，可用獲取華為榮耀8的具體數據，具體的實驗代碼如圖1所示

四、總結

Python網絡爬取數據為用戶爬取數據提供很大的便利，海量數據背后的價值是無價的，隨著數量的不斷增加，數據的結構也會越來越復雜，如何利用好爬蟲技術更好、更高效獲取和處理數據依然是人們需要面臨的挑戰，人們需要不斷化解這些困難。本文通過對Requests庫、robot.txt 文件協議、BeautifulSoup庫的分析與應用，了解到了現在的網絡爬蟲系統已逐漸克服過去的種種障礙，可以把復雜網絡上復雜數據代碼變為簡單的，可以從單個網站爬取轉化成多個同時爬取，從長時的運行變為短時的運行，給用戶帶來了很大的幫助。雖然現在的爬蟲技術已經很高效快捷獲取數據了，但仍然存在需要改進的地方[9-10]。

本文僅僅做了一個小實驗，使用request庫來對京東華為榮耀手機網絡數據進行爬取，通過實驗結果來顯示，數據的獲取比較快速和精確，但不能夠完全體現出網絡爬蟲存在的問題，現在的網絡爬蟲技術還僅局限兼容處理器單個，對于系統里復雜的數據集還是做到最大限度的利用，這就需要我們多應用到其他領域，結合更好的爬蟲技術，逐漸優化爬蟲的系統，使得代碼可以更簡單即可運行，獲取數據更加完整和全面，可以將無用的數據進行自動的刪除，系統對隱私的數據也要做到最大的保護。這不僅僅需要培養更多的人才，同時也許要大家自覺遵循網絡爬取數據的規則，才能使得在數據的獲取和處理上取得進一步的突破。