基于社交網絡的搜索引擎設計與實現(二)

社交網絡的蓬勃發展景象，也吸引了搜索引擎企業的注意。2010年6月30日，百度[13]低調地組建社會化網絡事業部，并且針對社交網絡領域廣納人才，這直接表明，百度將涉足SNS領域，并且SNS服務很有可能成為百度業務新的增長點。搜索引擎的另一巨頭谷歌也正乘機進入社交網絡范疇。谷歌自從2009年便開始在搜索結果中整合社交內容，但一直未對這類內容給予太大重視。時隔一年多之后，在2011年2月中旬，谷歌搜索產品總監麥克·卡西迪(Mike Cassidy)表示，谷歌今后將針對社交內容重點將展開三大計劃：在結果中整合社交內容、提升社交領域的覆蓋率、為用戶提供更多控制。但是搜索引擎在社交網絡領域的應用面臨著諸多困難，主要表現在以下幾個方面：

首先，。。。。。。

其次，。。。。。。

最后，。。。。。。。。。。。。

（二）研究意義

目前，隨著檢索技術的發展，信息孤島問題已經可以解決。針對上述社交網絡信息孤島問題，本文設計并實現一個面向融合社交網絡的智能搜索引擎系統。其目標就是使搜索引擎用戶，在一個界面內輸入一次關鍵字，就能夠檢索自己所關注的社交網站內個人主頁，從而迅速地通過檢索系統返回自己所關注的個人信息。本論文中提出的解決上述問題的基本思想：只針對各個社交網站內個人主頁信息，設計實現一個搜索引擎，在一個統一的界面內檢索和顯示用戶在各個社交網站內所關心的信息。

對面向融合社交網絡應用的搜索引擎的研究，可以一定程度上緩解搜索引擎面臨社交網絡的挑戰，同時也將為搜索引擎的發展開辟一個新的空間。最主要的是，使用面向融合社交網絡的搜索引擎，將為同時在多個SNS檢索信息的用戶提供極大便利。

（三）主要工作

本文對面向融合社交網絡應用的智能搜索引擎系統進行詳細設計，并使用全文檢索工具包Lucene和開源網絡爬蟲Heritrix技術來構建系統；本文就本人的主要工作進行說明，主要包括一下幾個方面：

調研社交網絡的現狀，研究搜索引擎的工作原理，通過分析搜索引擎的工作流程，掌握搜索引擎構建過程。

參照網絡爬蟲知識，對Heritrix開源網絡爬蟲框架進行學習，主要探討了其可擴展特性；然后對對全文檢索工具包Lucene進行研究，分析其主要架構和主要部件。

在理論基礎上，對面向融合社交網絡應用的智能搜索引擎系統進行需求分析，設計系統總體結構，重點對系統的關鍵模塊進行詳細設計。

依據系統設計方案，利用開源網絡爬蟲Heritrix和全文檢索工具包Lucene對系統進行實現，并完成關鍵功能模塊的測試。

（四）論文結構

第1部分介紹搜索引擎的基本概念、其發展趨勢，以及社交網絡的現狀，詳細分析了搜索引擎在社交網絡領域應用所面臨的問題，簡要介紹了解決所面臨問題的基本思想，提指出面向融合社交網絡應用的智能搜索引擎的研究意義，最后對論文結構做了簡要敘述。

第2部分。。。。。。。。。

搜索引擎技術研究

本章首先介紹了搜索引擎的主要分類、發展趨勢以及工作原理，然后對其關鍵技術進行了詳細的研究，特別是對開源網絡爬蟲Heritrix和全文檢索工具包Lucene進行詳細的闡述。

（一） 搜索引擎概述

（略）

（二） 搜索引擎工作原理

（略）

（三） 搜索引擎的關鍵技術

（略）

表 2-1   Lucene包結構功能表

Lucene包結構功能表

包名 功能

org.apache.lucene.analysis 語言分析器，主要用于的切詞，支持中文主要是擴展此類

org.apache.lucene.document 索引存儲時的文檔結構管理，類似于關系型數據庫的表結構

org.apache.lucene.index 索引管理，包括索引建立、刪除等

org.apache.lucene.queryParser 查詢分析器，實現查詢關鍵詞間的運算，如與、或、非等

org.apache.lucene.search 檢索管理，根據查詢條件，檢索得到結果

org.apache.lucene.store 數據存儲管理，主要包括一些底層的I/O操作

org.apache.lucene.util 一些公用類

（四）本章小結

本章首先對搜索引擎的基本概念進行說明，然后對搜索引擎的分類及發展趨勢做出簡要的介紹，詳細闡述了搜索引擎的工作原理。接下來針對本系統采用的全文檢索工具包Lucene和網絡爬蟲框架Heritrix進行重點介紹：主要介紹Lucene的索引文件的邏輯結構、核心類；詳細介紹Heritrix的主要組件，以此來理解其主要構架及工作方式。

參考文獻

邱哲，符滔滔，王學松.開發自己的搜索引擎---Lucene+Heritrix(第2版)[M].北京：人民郵電出版社，2010