關于學習大數據的體會(一)

大數據的時代商業模式的創新分析

大數據對商業模式具有創造性破壞的潛能。將大數據與商業模式有效結合，從商業模式的經濟、運營和戰略3個視角指出大數據能提升競爭優勢。基于創新目標和機制分析了大數據時代商業模式創新的框架，圍繞商業模式的4個界面分析了大數據背景下商業模式構成要素和構成結構的變革。

大數據的核心是建立在相關關系分析法基礎上的預測。在諸多領域，大數據浪潮正引致顛覆性創新，也必將帶來制度變遷。供應商和自身運營狀況數以億計字節的信息。大數 據大量可被獲取、交流、集聚、存儲和分析的數據，現在已是全球經濟活動中每個部門和每一功能的核心，已成為與實物資產人力資本同樣重要的生產要素。

大數據作為一個很好的視角和工具。從資本角度來看，從其擁有的數據規模、數據的活性和這家公司能運用、解釋數據的能力，就可以看出這家公司的核心競爭力。而這幾個能力正是資本關注的點。移動互聯網與社交網絡興起將大數據帶入新的征程，互聯網營銷將在行為分析的基礎上向個性化時代過渡。

　　一、緒論。

進入2012年以來，大數據（Big Date）一詞越來越多地被提及與使用，它已經出現過在《紐約時報》、《華爾街時報》的專欄封面，人們用他來描述和定義信息爆炸時代產生的海量數據，進入美國白宮網的新聞，在國內一些網絡主題的講座沙龍中，被嗅覺靈敏的銀河證券、國軍證券、國泰君安等寫進了投資推薦報告，大數據時代來臨。移動互聯、社交網絡、電子商務大大拓展了互聯網的疆界和應用領域。有人說21世紀是數據信息時代，我們在享受便利的同時，也無償貢獻了自己的“行蹤”。各種數據正在迅速膨脹并變大，它決定著企業的未來發展，雖然現在企業可能并沒有意識到數據爆炸性增長帶來問題的隱患，但是隨著時間的推移，人們將越來越多的意識到數據對企業的重要性。現在互聯網不但知道對面是一只狗，還知道這只狗喜歡什么食物，幾點出去遛彎，幾點回窩睡覺。我們不得不接受這個現實，每個人在互聯網進入到大數據時代，都將是透明性存在。大數據時代對人類的數據駕馭能力提出了新的挑戰，也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。哈佛大學社會學教授加里·金說：“這是一場革命，龐大的數據資源使得各個領域開始了量化進程，無論學術界、商界還是政府，所有領域都將開始這種進程。”數據中隱藏著有價值的模式和信息，在以往需要相當的時間和成本才能提取這些信息。如沃爾瑪或谷歌這類領先企業都要付高昂的代價才能從大數據中挖掘信息。

　

　　二、大數據的概念。 

  大數據（Big Data）是指那些超過傳統數據庫系統處理能力的數據。它的數據規模和轉輸速度要求很高，或者其結構不適合原本的數據庫系統。為了獲取大數據中的價值，我們必須選擇另一種方式來處理它。對于企業組織來講，大數據的價值體現在兩個方面：分析使用和二次開發。對大數據進行分析能揭示隱藏其中的信息。即使是在車庫中創業的公司也可以用較低的價格租用云服務時間了。例如零售業中對門店銷售、地理和社會信息的分析能提升對客戶的理解。而當今的各種資源，如硬件、云架構和開源軟件使得大數據的處理更為方便和廉價。對大數據的二次開發則是那些成功的網絡公司的長項。例如Facebook通過結合大量用戶信息，定制出高度個性化的用戶體驗，并創造出一種新的廣告模式。這種通過大數據創造出新產品和服務的商業行為并非巧合，谷歌、雅虎、亞馬遜和Facebook它們都是大數據時代的創新者。

舉一個有趣的例子。人品與刪除瀏覽記錄，就是一個典型的曾經看似風馬牛不相及的關聯體。但來自以色列西南財經大學天府學院大數據時代的信息分析實訓報告的Shvat Shaked卻通過努力告訴人們，如此尋常的行為中同樣蘊含著道理，也許還蘊含著無限商機。很多人喜歡上網后刪除瀏覽記錄。在保護隱私的旗幟下，這種行為很少受到關注，也很少激起人們的興趣，自然也就不能調動人們深入思考和仔細研究的積極性。Shvat有一個堅定的信念：一個人的品行與其不經意間的行為密切相關，那些“壞人”為防被人追蹤一定會不斷刪除自己在互聯網上的蹤跡，而“好人”則一般不介意在互聯網上留下自己的印記。基于這個信念，Shvat通過對海量數據的分析研究出了一款獨特的欺詐系統。這一防欺詐系統受到了ebay的關注。后者的paypal系統允許兩個通戶通過電郵地址在線交易，這微釣魚式攻擊提供了可乘之機：一些欺詐網站偽裝成真實網站以獲得用戶的登錄信息。paypal近年來不斷加強在線安全卻一直收獲不大，Shvat的創意及其防欺詐系統出色的性能就在此時吸引了ebay。2008年，ebay以1.69億美元將Shvat及其公司Fraud Sciences收入囊中。

　　

　　三、大數據的發展。　　

     最早提出大數據時代已經到來的機構是全球知名咨詢公司麥肯錫。麥肯錫在研究報告中指出，數據已經滲透到每一個行業和業務職能領域，逐漸成為重要的生產因素。而人們對于海量數據的運用將預示著新一波生產率增長和消費者盈余浪潮的到來。大數據迅速成為了計算機行業爭相傳誦的熱門概念，也引起了行業內的高度關戰略

雖然大數據目前在國內還處于初級階段，但是商業價值已經顯現出來。未來，數據可能成為最大的交易商品。但數據量大并不能算是大數據，大數據的特征是數據量大、數據種類多、非標準化數據的價值最大化。大數據的整體態勢和發展趨勢，主要體現在幾個方面：大數據與學術、大數據與人類的活動，大數據的安全隱私、關鍵應用、系統處理和整個產業的影響。大數據整體態勢上，數據的規模將變得更大，數據資源化、數據的價值凸顯、數據私有化出現和聯盟共享。因此，大數據的價值是通過數據共享、交叉復用后獲取最大的數據價值。在他看來，未來大數據將會如基礎設施一樣，有數據提供方、管理者、監管者，數據的交叉復用將大數據變成一大產業。隨著大數據的共享越來越大，隱私問題也隨之而來，比如說每天手機產生的通話、位置等等。但這給帶來了便利的同時也給帶來了個人隱私的問題。大數據的發展會催生許多新興新職業，會產生數據分析師、數據科學家、數據工程師，有非常豐富的數據經驗的人才會成為稀缺人才。隨著社會的不斷發展，大數據對IT技術架構的挑戰，大數據的生態環境問題，大數據的應用及產業鏈將日益突出。隨著大數據的發展，數據共享聯盟將逐漸壯大成為產業的核心一環。數據資源化，大數據在國家和企業和社會層面成為重要的戰略資源，成為新的戰略制高點和搶購的新焦點。

雖然大數據目前在國內還處于初級階段，但是商業價值已經顯現出來。未來，大數據的整體態勢和發展趨勢，只要體現在幾個方面：大數據與學術、大數據與人類的活動，大數據的安全隱私、關鍵應用、系統處理和整個產業的影響。大數據整體態勢上，數據的規模將變得更大，數據資源化、數據的價值凸顯、數據私有化出現和聯盟共享。隨著大數據的發展，數據共享聯盟將逐漸壯大成為產業的核心一環。大數據的發展會催生許多新興職業，會產生數據分析師、數據科學家、數據工程師，有非常豐富的數據經驗的人才會成為稀缺人才。隨著大數據的共享越來越大，隱私問題也隨之而來，比如說每天產生的通話、位置等等，但這給帶來了便利的同時也給帶來了個人隱私的問題。數據資源化，大數據在國家各企業和社會層面成為最重要的戰略資源，成為新的戰略制高點和搶購的新焦點

四、大數據的分類。

（1）、按照數據分析的實時性，分為實時數據分析和離線數據分析兩種。

 實時數據分析一般用于金融、移動和互聯網B2C等產品，往往要求在數秒內返回上億行數據的分析，從而達到不影響用戶體驗的目的。目前比較新的海量數據實時分析工具有EMC的Greenplum、SAP的HANA等。要滿足這樣的需求，可以采用精心設計的傳統關系型數據庫組成并行處理集群，或者采用一些內存計算平臺，或者采用HDD的架構，這些無疑都需要比較高的軟硬件成本。互聯網企業的海量數據采集工具，有Facebook開源的Scribe、LinkedIn開源的Kafka、淘寶開源的Timetunnel、Hadoop的Chukwa等，均可以滿足每秒數百MB的日志數據采集和傳輸需求，并將這些數據上載到Hadoop中央系統上。對于大多數反饋時間要求不是那么嚴苛的應用，比如離線統計分析、機器學習、搜索引擎的反向索引計算、推薦引擎的計算等，應采用離線分析的方式，通過數據采集工具將日志數據導入專用的分析平臺。但面對海量數據，傳統的ETL工具往往徹底失效，主要原因是數據格式轉換的開銷太大，在性能上無法滿足海量數據的采集需求。

、按照大數據的數據量，分為內存級別、海量級別三種、BI級別。

這里的內存級別指的是數據量不超過集群的內存最大值。不要小看今天內存的容量，Facebook緩存在內存的Memcached中的數據高達320TB，而目前的PC服務器，內存也可以超過百GB。因此可以采用一些內存數據庫，將熱點數據常駐內存之中，從而取得非常快速的分析能力，非常適合實時分析業務。

海量級別指的是對于數據庫和BI產品已經完全失效或者成本過高的數據量。海量數據級別的優秀企業級產品也有很多，但基于軟硬件的成本原因，目前大多數互聯網企業采用Hadoop的HDFS分布式文件系統來存儲數據，并使用MapReduce進行分析。本文稍后將主要介紹Hadoop上基于MapReduce的一個多維