大數(shù)據(jù)具體可以分為數(shù)據(jù)采集、數(shù)據(jù)分析和數(shù)據(jù)展現(xiàn)等幾個(gè)部分，由于大數(shù)據(jù)采用的是非結(jié)構(gòu)化的數(shù)據(jù)，與傳統(tǒng)的數(shù)據(jù)分析相比價(jià)值密度、數(shù)據(jù)量大，通俗來(lái)說(shuō)就是傳統(tǒng)的數(shù)據(jù)分析相當(dāng)于順藤摸瓜，大數(shù)據(jù)分析相當(dāng)于畫(huà)地為牢。

可以舉幾個(gè)大數(shù)據(jù)的實(shí)際應(yīng)用場(chǎng)景，比如商業(yè)營(yíng)銷(xiāo)，商家通過(guò)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)在平臺(tái)采集客戶信息，分析客戶偏好，有針對(duì)性的制定營(yíng)銷(xiāo)策略，這個(gè)模式目前在每個(gè)行業(yè)營(yíng)銷(xiāo)領(lǐng)域都很常見(jiàn)，再比如人工智能、物聯(lián)網(wǎng)方面，這兩個(gè)方面都是本身數(shù)據(jù)就是非結(jié)構(gòu)化的，利用傳統(tǒng)的數(shù)據(jù)分析方式無(wú)法有效處理，只能通過(guò)大數(shù)據(jù)的手段進(jìn)行分析。

總之，大數(shù)據(jù)解決的問(wèn)題不是哪一個(gè)領(lǐng)域而是每一個(gè)領(lǐng)域，不是某一時(shí)刻影響我們的生活而是每一刻都在影響我們生活。大數(shù)據(jù)仍然需要統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)作為支撐，具體解決的問(wèn)題以及落地場(chǎng)景，還在不斷的完善，隨著技術(shù)以及時(shí)間的推移，大數(shù)據(jù)應(yīng)用越來(lái)越廣泛，解決的問(wèn)題也是越來(lái)越多，可能后續(xù)的問(wèn)題就是大數(shù)據(jù)還有哪些不能解決的問(wèn)題。

（1）新媒體指數(shù)大數(shù)據(jù)平臺(tái)：

分布式計(jì)算解決單臺(tái)機(jī)器無(wú)法計(jì)算大數(shù)據(jù)問(wèn)題，常見(jiàn)的分布式計(jì)算分為離線計(jì)算和實(shí)時(shí)計(jì)算計(jì)算機(jī)使用數(shù)據(jù)進(jìn)行計(jì)算時(shí)，會(huì)把數(shù)據(jù)加載到內(nèi)存中，但是由于單臺(tái)機(jī)器的內(nèi)存限制有限，當(dāng)數(shù)據(jù)量過(guò)于巨大時(shí)，比如 1024 G數(shù)據(jù)，全部加載到內(nèi)存是不現(xiàn)實(shí)的，因?yàn)楝F(xiàn)在的機(jī)器內(nèi)存一般不會(huì)太大，雖然有這樣大內(nèi)存的機(jī)器，但是成本太高，一般不會(huì)選擇使用一臺(tái)機(jī)器來(lái)進(jìn)行處理。

此時(shí)使用分布式計(jì)算技術(shù)，使用多臺(tái)機(jī)器進(jìn)行數(shù)據(jù)處理，每臺(tái)機(jī)器本質(zhì)是處理總數(shù)據(jù)的一個(gè)子集。打個(gè)比方，1024 G 的數(shù)據(jù)，有64臺(tái)機(jī)器，那其實(shí)每臺(tái)機(jī)器處理 16GB 的數(shù)據(jù)即可，這是可以實(shí)現(xiàn)的,而且都是廉價(jià)機(jī)器，總體成本不會(huì)太高。像現(xiàn)在的 Hadoop 的 MapReduce 技術(shù)，就是通過(guò)將數(shù)據(jù)分割，每個(gè)Map任務(wù)處理總體數(shù)據(jù)的一個(gè)子集，來(lái)解決大數(shù)據(jù)計(jì)算的問(wèn)題。

分布式存儲(chǔ)解決單臺(tái)機(jī)器無(wú)法存儲(chǔ)大量數(shù)據(jù)的情況，解決單機(jī)磁盤(pán)限制問(wèn)題，支持水平擴(kuò)展大數(shù)據(jù)最終本質(zhì)都會(huì)存儲(chǔ)在計(jì)算機(jī)的磁盤(pán)上面，單臺(tái)機(jī)器磁盤(pán)無(wú)論再大，其磁盤(pán)容量都是有限制的。而對(duì)于分布式存儲(chǔ)來(lái)說(shuō)，當(dāng)一臺(tái)機(jī)器的磁盤(pán)不夠時(shí)，它支持水平擴(kuò)展機(jī)器，可以從一臺(tái)變成多臺(tái)，那總的磁盤(pán)大小就是這些機(jī)器的和，從而解決了單臺(tái)機(jī)器磁盤(pán)不足問(wèn)題。

分布式存儲(chǔ)也是通過(guò)將數(shù)據(jù)進(jìn)行水平劃分或者垂直劃分，每臺(tái)機(jī)器存儲(chǔ)的是整體數(shù)據(jù)集的一個(gè)子集，協(xié)同進(jìn)行存儲(chǔ)。而單機(jī)就一臺(tái)機(jī)器， 雖然其磁盤(pán)支持更換，但始終是有限的，當(dāng)達(dá)到特別大的時(shí)候，在進(jìn)行磁盤(pán)容量擴(kuò)展，成本也會(huì)非常大。一般公司都會(huì)選擇廉價(jià)的機(jī)器，分布式的進(jìn)行存儲(chǔ)數(shù)據(jù)，那臺(tái)機(jī)器壞了，在添加新的機(jī)器即可。

我是Lake，專注大數(shù)據(jù)技術(shù)原理、人工智能、數(shù)據(jù)庫(kù)技術(shù)、程序員經(jīng)驗(yàn)分享，如果我的問(wèn)答對(duì)你有幫助的話，希望你能點(diǎn)贊關(guān)注我，感謝。

我會(huì)持續(xù)大數(shù)據(jù)、數(shù)據(jù)庫(kù)方面的內(nèi)容，如果你有任何問(wèn)題，也歡迎關(guān)注私信我，我會(huì)認(rèn)真解答每一個(gè)問(wèn)題。期待您的關(guān)注