基于python網絡爬蟲與信息提取的研究與分析(一)

基于python網絡爬蟲與信息提取的研究與分析

隨著互聯網的快速發展，網絡爬取數據得到全面的研究，現在大部分信息都是以數據或網頁的形式存儲在網上，在眾多的數據中，人們會根據自己需要從網上爬取相關數據或網頁，從而獲取相關的信息。如何用快速和高效的方式取獲取相關數據一直人們重點研究的問題。本文運用python工具與各種爬蟲庫或框架之間的調用對網絡數據的爬取進行研究與分析，為了更好掌握python爬取數據的性能，以及對網絡爬蟲應該注意什么問題，這 里通過相關實例進行解析，這便于更好地了解python是如何爬取數據的。

一、引言

在互聯網時代，人們越來越重視對網絡數據的爬取和研究，特別是對網絡數據爬取技術，這是因為人們的生活離不開數據信息。比如，我們最為熟悉的網購，現在人們在網上購物時，通常會考慮很多因素，他們會考慮產品的質量、價錢、性能等，這些都需要參考產品的品牌、銷售量、顧客的反饋及評價等指標來決定是否下單。當然，現實中還有很多的例子，這足以說明從網絡上獲取數據是多么的重要。

網絡爬取數據的工具有很多，如Java、c++、PHP、Python等工具均可進行網絡爬蟲，每種工具都有他們的優缺點。相比較之下，python安裝比較簡單，爬蟲語言比較簡捷，性能比較快。然而，python工具就需要用到Requests庫來提交信息，有時會用到，同時還需要用到robots.txt庫來進行標準排除，這樣才能對網絡數據進行合理的爬取，最后需要用到Beautiful Soup庫對頁面進行解析，這里庫或框架的安裝比較簡單，使用起來比較方便[1-2]。

二、python爬蟲的簡介

Python爬蟲的原理源于網絡蜘蛛，我們需要選擇合適的IDE環境來開發python程序，IDE是用來編寫、調試、發布python程序的工具。下載安裝完python之后，人們可以在python來里導入Requests庫或其他框架，同時編寫程序來搜索所需要的信息，完成代碼編程之后，系統會自動獲取網絡上相關或類似可利用的信息。在爬蟲的整個過程中是不斷循環的，爬取完第一個之后就進行下一個爬取，直至循環完畢或者達到停止的條件。

對于爬蟲還需要注意一些問題，我們先檢查是否存在API,在很多官網或網站是有限制爬取文件，或者收費用等，這是因為服務器上的數據具有產權歸屬，這需要在法律允許的范圍內或進行支付相關費用再進行爬蟲。對此，如果有API，我們先調用API。還需要注意的是，在大規模的爬蟲中，如爬取網站或系列網站，我們就需要引入Scrapy庫了，除了采集數據外，對于中間數據需要存儲下來，比如頁面id或者url，這是為了下一次爬取時不需要再重新爬取id,這也是python爬蟲的一個特點，這樣特點為下一個數據爬取節約一定的時間。對于小規模的網絡爬蟲，爬取速度不敏感，我們用到Requests庫就可以。

2.1 Requests庫的應用

Requests庫是一個對某些HTML頁面進行自動的爬取，這個過程比較簡單，有時可用一行代碼可用解決問題，它可以向網絡上自動提交相關請求，是python被公認為目前最好的第三方庫，進行網絡爬蟲代碼編寫是，我們需要先導入Requests庫，我們再到get后面輸入需要獲取相關的頁面，完成以上工作之后，我們要用r.status_code來檢查狀態碼，若顯示200，則頁面訪問成功，有時顯示的內容時可能是亂碼，這時我們對編碼做一個處理，然后再顯示網頁內容就可以將亂碼轉化為中文的字符；若狀態碼為其他形式，則訪問Y異常，這可能是網絡異常、頁面錯誤、URL缺失超時異常等，這時我們需要對異常情況進行檢測和處理[4]。Requests庫主要有七個方法：

(1)request:構造一個請求，支持其他的六種方法，是最為基礎的方法

(2)get: 構造一個向服務器請求資源的Request對象

(3)head:獲取網頁頭的方法，系統可根據網頁頭來進行信息的預判和推測

(4)post：提交POST請求的方法

(5)put：提交PUT請求的方法

(6)patch：對網頁提交局部的修改請求