用Java來開發一個Web數據抽取工具

論文字數:9776,頁數:33

摘要

 本課題是介紹如何用Java來開發一個Web數據抽取工具。主要內容就是實現Spider（發現、搜集網頁信息需要有高性能的“網絡蜘蛛”程序去自動地在互聯網中搜索信息），解析HTML（Web中的信息都是建立在HTML協議之上的，所以網絡機器人在檢索網頁時的第一個問題就是如何解析HTML），提高程序性能（利用Java的多線程技術在Internet中擁有海量的Web頁面中開發出高效的Spider程序）。Eclipse開發工具采用Spider核心技術遍歷URL下載整個Web站點。我通過設計和調用各種Java類實現了上述技術的要求。本設計程序本質是一個Web Spider。與其它下載工具相比較它的主要優勢是能夠自動填充form(如：自動登錄)和使用cookies來處理session。它還有靈活的下載規則(如：通過網頁的URL，大小，MIME類型等)來限制下載。經過程序運行測試，效果良好。
關鍵詞: 數據抽取,Java類,Web Spider,Java多線程

Abstract

 This topic is an introduction how to develop a Web data sample tool based on the Java.The main contents is to carry out Spider(find, collect web page's information need to have "Web spider" of high performance to search the information of itself in the Internet), analyze HTML(the informations in the Web all build up in the HTML, so the first problem for web robot is how to analyze HTML when crawling web page) and raise program function.(make use of the Java multi-threading technique to develop efficiently of Spider program in the Internet which have a number of Web pages) To adopt the core technique of Spider in the Eclipse to crawl the URL ,then download the whole Web site.I carry out the above-mentioned technical request with design and use various of Java class.The essence of this program is a Web Spider.The main advantage downloaded tool with other to compare it is it can automatically to fill form(such as:Automatically register)with usage cookies to handle session.It still has vivid download rule(such as:Pass the URL, size of web page, MIME type etc.)to limit a download.y the effect is good by a test.
Keyword: the data sample,Java class,Web Spider,the Java multi-threading

目錄

摘要 I
Abstract II
第一章 緒論 1
1.1 背景 1
1.2 設計目的及實現方法 1
1.3 國內外的現狀 1
第二章 相關技術綜述和技術背景 3
2.1 開發工具Eclipse 3
2.1.1 Eclipse簡介 3
2.1.2 Eclipse工作臺 3
2.1.3 在Eclipse中開發Java程序 4
2.1.4 在Eclipse中調試Java程序 4
2.2 核心技術——Spider 4
2.2.1 工作原理 4
2.2.2 搜索策略 4
2.2.3 搜索策略的趨勢 5
2.3 Spider設計 6
2.3.1 Spider采集 6
2.3.2 Socket連接的實現 7
2.3.3 Spider程序結構 7
2.3.4 Spider構架 9
2.4 Spider中采用提高程序性能的技術 9
第三章 總體設計 11
3.1 設計原則 11
3.2 功能目標設計 11
3.3 設計描述 11
3.4 設計的實現 12
3.4.1 Java類的建立 12
3.4.2 Java類的調用和修改 14
3.5 說明 19
3.5.1 主窗口 19
3.5.2 功能窗口 20
第四章 運行與測試 24
第五章 總結 28
致謝 28
參考文獻 29