近年來，隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算、三網(wǎng)融合等IT與通信技術(shù)的迅猛發(fā)展，數(shù)據(jù)的快速增長成了許多行業(yè)共同面對的嚴峻挑戰(zhàn)和寶貴機遇，因而信息社會已經(jīng)進入了大數(shù)據(jù)(Big Data)時代。大數(shù)據(jù)的涌現(xiàn)不僅改變著人們的生活與工作方式、企業(yè)的運作模式，甚至還引起科學(xué)研究模式的根本性改變。

一般意義上,大數(shù)據(jù)是指無法在一定時間內(nèi)用常規(guī)機器和軟硬件工具對其進行感知﹑獲取﹑管理、處理和服務(wù)的數(shù)據(jù)集合[1。網(wǎng)絡(luò)大數(shù)據(jù)是指“人、機、物”三元世界在網(wǎng)絡(luò)空間(Cyberspace)中彼此交互與融合所產(chǎn)生并在互聯(lián)網(wǎng)上可獲得的大數(shù)據(jù)，簡稱網(wǎng)絡(luò)數(shù)據(jù)。

當前，網(wǎng)絡(luò)大數(shù)據(jù)在規(guī)模與復(fù)雜度上的快速增長對現(xiàn)有IT架構(gòu)的處理和計算能力提出了挑戰(zhàn)。據(jù)著名咨詢公司IDC發(fā)布的研究報告，2011年網(wǎng)絡(luò)大數(shù)據(jù)總量為1.8ZB,預(yù)計到2020年，總量將達到35ZB。

IBM將大數(shù)據(jù)的特點總結(jié)為3個V,即大量化(Volume)、多樣化(Variety)和快速化(Velocity)。首先,網(wǎng)絡(luò)空間中數(shù)據(jù)的體量不斷擴大,數(shù)據(jù)集合的規(guī)模已經(jīng)從GB、TB到了PB,而網(wǎng)絡(luò)大數(shù)據(jù)甚至以EB和 ZB(1021)等單位來計數(shù)。IDC的研究報告稱，未來十年全球大數(shù)據(jù)將增加50倍,管理數(shù)據(jù)倉庫的服務(wù)器的數(shù)量將增加10倍以迎合50倍的大數(shù)據(jù)增長。其次,網(wǎng)絡(luò)大數(shù)據(jù)類型繁多,包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。在現(xiàn)代互聯(lián)網(wǎng)應(yīng)用中,呈現(xiàn)出非結(jié)構(gòu)化數(shù)據(jù)大幅增長的特點,至2012年末非結(jié)構(gòu)化數(shù)據(jù)占有比例達到互聯(lián)網(wǎng)整個數(shù)據(jù)量的75%以上。這些非結(jié)構(gòu)化數(shù)據(jù)的產(chǎn)生往往伴隨著社交網(wǎng)絡(luò)、移動計算和傳感器等新技術(shù)的不斷涌現(xiàn)和應(yīng)用。再次,網(wǎng)絡(luò)大數(shù)據(jù)往往呈現(xiàn)出突發(fā)涌現(xiàn)等非線性狀態(tài)演變現(xiàn)象,因此難以對其變化進行有效評估和預(yù)測。另一方面,網(wǎng)絡(luò)大數(shù)據(jù)常常以數(shù)據(jù)流的形式動態(tài)﹑快速地產(chǎn)生,具有很強的時效性,用戶只有把握好對數(shù)據(jù)流的掌控才能充分利用這些數(shù)據(jù)。

近幾年,網(wǎng)絡(luò)大數(shù)據(jù)越來越顯示出巨大的影響作用﹐正在改變著人們的工作與生活。2012年11月《時代》雜志撰文指出奧巴馬總統(tǒng)連任成功背后的秘密,其中的關(guān)鍵是對過去兩年來相關(guān)網(wǎng)絡(luò)數(shù)據(jù)的搜集﹑分析和挖掘。目前, eBay的分析平臺每天處理的數(shù)據(jù)量高達 100 PB,超過了納斯達克交易所每天的數(shù)據(jù)處理量。為了準確分析用戶的購物行為, eBay定義了超過500種類型的數(shù)據(jù),對顧客的行為進行跟蹤分析3。2012年的雙十一中國互聯(lián)網(wǎng)再次發(fā)生了最大規(guī)模的商業(yè)活動:淘寶系網(wǎng)站的銷售總額達到191億元人民幣。淘寶之所以能應(yīng)對如此巨大的交易量和超高并發(fā)性的分析需求,得益于其對往年的情況﹐特別是用戶的消費習(xí)慣﹑搜索習(xí)慣以及瀏覽習(xí)慣等數(shù)據(jù)所進行的綜合分析。

網(wǎng)絡(luò)大數(shù)據(jù)給學(xué)術(shù)界也同樣帶來了巨大的挑戰(zhàn)和機遇。網(wǎng)絡(luò)數(shù)據(jù)科學(xué)與技術(shù)作為信息科學(xué)、社會科學(xué)、網(wǎng)絡(luò)科學(xué)和系統(tǒng)科學(xué)等相關(guān)領(lǐng)域交叉的新興學(xué)科方向正逐步成為學(xué)術(shù)研究的新熱點。近年，《Nature》和《Science》等刊物相繼出版專刊來探討對大數(shù)據(jù)的研究。2008年《Nature》出版的?？癇igData”,從互聯(lián)網(wǎng)技術(shù)、網(wǎng)絡(luò)經(jīng)濟學(xué)﹑超級計算、環(huán)境科學(xué)和生物醫(yī)藥等多個方面介紹了海量數(shù)據(jù)帶來的挑戰(zhàn)[2]。2011年《Science》推出關(guān)于數(shù)據(jù)處理的專刊“Dealing with Data”,討論了數(shù)據(jù)洪流(Data Deluge)所帶來的機遇[3]。特別指出﹐倘若能夠更有效地組織和使用這些數(shù)據(jù)﹐人們將得到更多的機會發(fā)揮科學(xué)技術(shù)對社會發(fā)展的巨大推動作用。