2.1國(guó)內(nèi)外廠商的技術(shù)和產(chǎn)品分析

2.1.1國(guó)外廠商在大數(shù)據(jù)領(lǐng)域的技術(shù)和產(chǎn)品

在大數(shù)據(jù)技術(shù)的發(fā)展歷程中，國(guó)外數(shù)據(jù)廠商是最先嗅到其中價(jià)值的領(lǐng)跑者。從2005年雅虎公司開(kāi)發(fā)Hadoop項(xiàng)目解決網(wǎng)頁(yè)搜索問(wèn)題開(kāi)始，大數(shù)據(jù)概念在短短幾年問(wèn)獲得了從政府、科學(xué)研究機(jī)構(gòu)到商業(yè)公司幾乎所基于領(lǐng)域的追捧。而隨后，結(jié)合大數(shù)據(jù)日漸完備的概念， 國(guó)外廠商也從數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、數(shù)據(jù)挖掘到數(shù)據(jù)應(yīng)用開(kāi)發(fā)出了一系列技術(shù)和產(chǎn)品，繼而形成了典型的大數(shù)據(jù)技術(shù)開(kāi)發(fā)架構(gòu)，取得了較大的進(jìn)展。下面，我們將選擇一些領(lǐng)域內(nèi)排名前列的大數(shù)據(jù)廠商，詳細(xì)介紹他們的典型技術(shù)和產(chǎn)品。

2.1.1.1甲骨文(Oracle)公司

甲骨文公司全稱甲骨文股份基于限公司(甲古文軟件系統(tǒng)基于限公司)，是全球最大的企業(yè)軟件公司。其主要業(yè)務(wù)為數(shù)據(jù)庫(kù)服務(wù)器、應(yīng)用服務(wù)器以及相關(guān)開(kāi)發(fā)工具的研發(fā)。2010年，甲古文公司正式進(jìn)軍大數(shù)據(jù)領(lǐng)域，并在2011年10月初召開(kāi)的Oracle Open World 2011大會(huì)上甲骨文公司正式推出了 Oracle大數(shù)據(jù)機(jī)，Oracle大數(shù)據(jù)機(jī)是一款集成設(shè)計(jì)的系統(tǒng)。旨在簡(jiǎn)化大數(shù)據(jù)項(xiàng)目的實(shí)施與管理。該數(shù)據(jù)機(jī)采用18臺(tái)Oracle Sum服務(wù)器的全機(jī)架式配置，共擁基于864GB主內(nèi)存、 216核CPU、648TB原始磁盤存儲(chǔ)空間，并在節(jié)點(diǎn)和其他Oracle集成化系統(tǒng)之間采用40GB/S的InfiniBand網(wǎng)絡(luò)連接以及l(fā)OGB/s的以太網(wǎng)數(shù)據(jù)中心連接，可通過(guò)InfiniBand網(wǎng)絡(luò)連接多個(gè)機(jī)架進(jìn)行橫向升級(jí)擴(kuò)展.使其能夠獲取、組織和分析超級(jí)海量的數(shù)據(jù)。

甲骨文公司在1979年即推出了越于SQL標(biāo)準(zhǔn)的關(guān)系數(shù)據(jù)庫(kù)產(chǎn) 品，可在100多種硬件平臺(tái)(包括微機(jī)、工作站、小型機(jī)和大型機(jī)) 上運(yùn)行，支持多種操作系統(tǒng)。甲骨文公司的數(shù)據(jù)存儲(chǔ)技術(shù)通過(guò)數(shù)據(jù)庫(kù)產(chǎn)品在全球范圍內(nèi)得到了廣泛的推廣，并獲得極好的口碑。因此. 在大數(shù)據(jù)技術(shù)方面，甲骨文公司的NoSQL數(shù)據(jù)庫(kù)技術(shù)同樣是行業(yè)中的佼佼者。Oracle NoSQL數(shù)據(jù)庫(kù)是基于Oracle Berkeley DB的高度可伸縮的分布式鍵值對(duì)數(shù)據(jù)庫(kù)，提供通用的企業(yè)級(jí)鍵值存儲(chǔ)，適用于低延遲數(shù)據(jù)捕獲和數(shù)據(jù)的快速査洵;NoSQL數(shù)據(jù)庫(kù)的開(kāi)發(fā)，正是響應(yīng)現(xiàn)今越來(lái)越多的企業(yè)采用非SQL典型架構(gòu)來(lái)增大規(guī)模和提升速度以應(yīng)對(duì)越來(lái)越人的數(shù)據(jù)蚩的趨勢(shì)。

同時(shí)，NoSQL技術(shù)也是Oracle大數(shù)據(jù)一體機(jī)的基礎(chǔ)。一體機(jī)是指通過(guò)標(biāo)準(zhǔn)化的架構(gòu)集成了服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)、軟件等配置， 簡(jiǎn)化了數(shù)據(jù)中心基礎(chǔ)設(shè)施部署和運(yùn)維管理的復(fù)雜性的一體化沒(méi)備。 大數(shù)據(jù)一體機(jī)(Big Data Appliance )即通過(guò)一體機(jī)的產(chǎn)品形態(tài)，解決了大數(shù)據(jù)時(shí)代基礎(chǔ)設(shè)施的持續(xù)擴(kuò)大問(wèn)題、數(shù)據(jù)處理的個(gè)性化和一體化需求問(wèn)題、海量數(shù)據(jù)的存儲(chǔ)成本問(wèn)題。甲骨文公司在2008年推出集成了硬件、存儲(chǔ)和軟件的大數(shù)據(jù)-體機(jī)Exadata.成為了業(yè)界首個(gè)以全面、軟硬件集成的產(chǎn)品滿足企業(yè)關(guān)鍵大數(shù)據(jù)需求的公司。 該一體機(jī)通過(guò)更大的物理閃存以及獨(dú)特的超高速閃存壓縮，閃存容量增大為原來(lái)的4倍，因此面向OLTP ( On-Line Transaction Processing,聯(lián)機(jī)事務(wù)處理)工作負(fù)載的運(yùn)行速度得到了極大提高。 現(xiàn)在，單機(jī)架Oracle Exadata的閃存能夠支持88TB用戶數(shù)據(jù)，如此大的容量已經(jīng)足夠使絕大多數(shù)OLTP數(shù)據(jù)庫(kù)在閃存中得到完整保存。單機(jī)架Oracle Exadata的數(shù)據(jù)吞吐量為lOOGB/s,大幅高于其他全閃存陣列的吞吐量，同時(shí)保持了低成本磁盤分層的優(yōu)勢(shì)。Oracle Exadata達(dá)到極致的性能和容量，使上百個(gè)數(shù)據(jù)庫(kù)能夠采用數(shù)據(jù)庫(kù)即服務(wù)架構(gòu)，輕松合并到單機(jī)架中，從而極大地降低了成本，提高了敏捷性。

同時(shí)結(jié)合Oracle大數(shù)據(jù)機(jī)這款為Oracle帶來(lái)最大利潤(rùn)收入的主要產(chǎn)品，甲骨文公司還推出了Oracle connectors (大數(shù)據(jù)連接器)等技術(shù)。Oracle大數(shù)據(jù)連接器使用戶能夠通過(guò)Hadoop iMapReduce處理來(lái)創(chuàng)建優(yōu)化的數(shù)據(jù)集，并能直接從Oracle數(shù)據(jù)庫(kù)訪問(wèn)HDFS上的數(shù)據(jù)，以便在Oracle Database llg中進(jìn)行高效分析，簡(jiǎn)化了大數(shù)據(jù)機(jī)與Hadoop環(huán)境的對(duì)接應(yīng)用。

除此之外.Orade數(shù)據(jù)庫(kù)云服務(wù)器(Exadata)以及Oradc商務(wù)智能云服務(wù)器(Exalytics)也是以大數(shù)據(jù)機(jī)為藍(lán)本的高級(jí)專業(yè)服務(wù)器。Oracle大數(shù)據(jù)機(jī)及Oracle大數(shù)據(jù)連接器可與Oracle Exadata數(shù)據(jù)庫(kù)云服務(wù)器和Oracle Exalyitcs商務(wù)智能云服務(wù)器聯(lián)合使用，組成一裝完整的集成系統(tǒng)，獲取、組織并分析大數(shù)據(jù)。Oracle數(shù)據(jù)庫(kù)云服務(wù)器(Exadata)包括數(shù)據(jù)庫(kù)服務(wù)播、Oracle Exadata存儲(chǔ)服務(wù)器、一個(gè)用于存儲(chǔ)聯(lián)網(wǎng)的InfiniBand結(jié)構(gòu).以及托管Oracle數(shù)據(jù)庫(kù)所需的所基于其他組件，為聯(lián)機(jī)事物處理(OLTP)、數(shù)據(jù)倉(cāng)儲(chǔ)(DW)以及混合

負(fù)載整合提供了杰出的I/O和SQL處理性能。Oracle商務(wù)智能云服務(wù)器(Exalytics)采用 I TB DRAM, 40核 Intel 處理器.運(yùn)行 Oracle Business Intelligence企業(yè)版，并內(nèi)置了內(nèi)存內(nèi)聚合功能，通過(guò)內(nèi)存計(jì)算技術(shù)，可以為業(yè)務(wù)分析人員提供豐富信息，實(shí)現(xiàn)快如閃念的企業(yè)級(jí)分析。與Oracle近期推出的其他一體化產(chǎn)品一樣。Oracle大數(shù)據(jù)機(jī)集成了硬件、存儲(chǔ)和軟件.包括ApachcHadoop軟件的開(kāi)源代碼分發(fā)、新的甲骨文NoSQL數(shù)據(jù)庫(kù)和用于統(tǒng)計(jì)分析的R語(yǔ)言開(kāi)源代碼分發(fā)。該產(chǎn)品被設(shè)計(jì)為能夠與甲骨文Database 11g Oracle Exadata 數(shù)據(jù)庫(kù)云服務(wù)器，以及針對(duì)商業(yè)智能應(yīng)用的新的Oracle txalytics商業(yè)智能云服務(wù)器一起協(xié)同工作，通過(guò)軟硬一體化的集成設(shè)備為用戶提供了端到端的大數(shù)據(jù)解決方案，強(qiáng)調(diào)大數(shù)據(jù)分析和管理。

2.1.1.2 易安信(EMC)公司

EMC(易安信)公司為一家美國(guó)信息存儲(chǔ)資訊科技公司，主要業(yè)務(wù)為信息存儲(chǔ)及管理產(chǎn)品、服務(wù)和解決方案。2010年，EMC 公司收購(gòu)了 Grcenplum公司(一家數(shù)據(jù)庫(kù)軟件公司，在全球數(shù)據(jù)處理和BI/DW領(lǐng)域提供數(shù)據(jù)庫(kù)引擎產(chǎn)品和咨詢服務(wù)，實(shí)力較強(qiáng))。收購(gòu)Greenplum公司后，EMC公司大踏步進(jìn)入大數(shù)據(jù)領(lǐng)域。并入EMC公司兩年來(lái)，Greenplum已推出類似Facebook的大數(shù)據(jù)社交和協(xié)作工具——Chorus; EMC公司收購(gòu)敏捷軟件開(kāi)發(fā)商Pivotal Labs、部署Hadoop,及相關(guān)產(chǎn)品線升級(jí)等。就在EMC World大會(huì)上，Greenplium還正式發(fā)布其1000節(jié)點(diǎn)集群的數(shù)據(jù)分析工作臺(tái)——Greenplum Analytics Workbench。

EMC公司的產(chǎn)品同樣主要集中在數(shù)據(jù)存儲(chǔ)和管理方面。其核心數(shù)據(jù)庫(kù)產(chǎn)品當(dāng)屬Greenplum數(shù)據(jù)庫(kù)。Grecnplum的架構(gòu)采用了 MPP(大規(guī)模并行處理)，該軟件是業(yè)內(nèi)首創(chuàng)的無(wú)共享、大規(guī)模并行處理(Massive Parallel Processing, MPP )的數(shù)據(jù)庫(kù)軟件，其中包括無(wú)共亨/MPP、按列存儲(chǔ)數(shù)據(jù)庫(kù)、數(shù)據(jù)庫(kù)內(nèi)壓縮、MapReduce、永不停機(jī)擴(kuò)容、多級(jí)容錯(cuò)等。在MPP系統(tǒng)中，毎個(gè)SMP節(jié)點(diǎn)也可以運(yùn)行自己的操作系統(tǒng)、數(shù)據(jù)庫(kù)等。換言之，毎個(gè)節(jié)點(diǎn)內(nèi)的CPU不能訪問(wèn)另一個(gè)節(jié)點(diǎn)的內(nèi)存。節(jié)點(diǎn)之間的信息交互是通過(guò)節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)實(shí)現(xiàn)的，這個(gè)過(guò)程一般稱為數(shù)據(jù)重分配(Data Redistribution)。與傳統(tǒng)的SMP架構(gòu)明顯不同，通常情況下，MPP系統(tǒng)因?yàn)橐诓煌幚韱卧g傳送信息，所以它的效率要比SMP要差一點(diǎn)，但這也不是絕對(duì)的，因?yàn)镸PP系統(tǒng)不共享資源，因此對(duì)它而言，資源比SMP要多，當(dāng)需要處理的事物達(dá)到一定規(guī)模時(shí)，MPP的效率要比SMP好。

在Grenplum這一數(shù)據(jù)庫(kù)產(chǎn)品的基礎(chǔ)上，EMC公司又看到了傳統(tǒng)Hadoop平臺(tái)可以改善的地方.例如分布式文件系統(tǒng)不支持隨機(jī)讀寫、定位于批處理、不支持實(shí)時(shí)數(shù)據(jù)處理。同時(shí).其不適用于高并發(fā)場(chǎng)景，其開(kāi)發(fā)難度大。與關(guān)系型數(shù)據(jù)庫(kù)在開(kāi)發(fā)、運(yùn)營(yíng)、維護(hù)等方面差異較大等問(wèn)題都亟待解決。因此，EMC公司認(rèn)為Grecnplum DataBase和Hadoop 是互補(bǔ)的技術(shù)，兩名結(jié)合形成對(duì)結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的完善解決方案。在此基礎(chǔ)上，開(kāi)發(fā)出了商業(yè)化的Grcenplum Hadoop平臺(tái)(縮寫為Grcenplum HD ).其中，關(guān)系型數(shù)據(jù)語(yǔ)法表達(dá)、復(fù)雜査詢、并發(fā)查洵、高速數(shù)據(jù)分析采用 Grcenplum數(shù)據(jù)庫(kù)，Hadoop用于非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)處理分析，產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)再加載到Grcenplum DB中進(jìn)行高速交互式查詢展現(xiàn)。同時(shí)Hadoop還用于ETL數(shù)據(jù)清洗，而Grcenplum DB 則可直接并行讀寫Hadoop數(shù)據(jù)。

Greenplum Chorus是基于大數(shù)據(jù)分析的社交平臺(tái)。Grcenplum Chorus是一個(gè)數(shù)據(jù)科學(xué)的社交平臺(tái)，包括個(gè)人沙盤、數(shù)據(jù)挖掘、協(xié)作分析和開(kāi)放架構(gòu)等特點(diǎn)。用戶通過(guò)這個(gè)平臺(tái)可以很快響應(yīng)需求. 從而對(duì)大數(shù)據(jù)分析做出更基于效率的工作。任何在社交平臺(tái)權(quán)限內(nèi)的人都可以通過(guò)個(gè)人沙盒來(lái)構(gòu)建一個(gè)自己的數(shù)據(jù)庫(kù)，做任何的數(shù)據(jù)試驗(yàn)，而且這些不會(huì)影響到生產(chǎn)數(shù)據(jù)。這是彈性、自我服務(wù)的體現(xiàn)。同吋, 如果你基于任何疑慮.也可以通過(guò)Chorus平臺(tái)發(fā)布消息，將會(huì)基于數(shù)據(jù)科學(xué)家及時(shí)幫助你解決問(wèn)題。

通過(guò)對(duì)以上三種技術(shù)產(chǎn)品的基于效處理結(jié)合，EMC公司推出了 EMC Greenplum統(tǒng)一分析平臺(tái)。EMC Grecnplum統(tǒng)一分析平臺(tái)結(jié)合 Greenplum Database、Greenplum Hadoop、Grecnplum Chorus,為企業(yè)構(gòu)建了高效處理結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的大數(shù)據(jù)分析平臺(tái)。客戶可以以此平臺(tái)為基礎(chǔ)，利用Grecnplum行業(yè)和數(shù)學(xué)統(tǒng)計(jì)方面的專家，充分挖掘自身數(shù)據(jù)價(jià)值，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)從成本中心到利潤(rùn)中心的轉(zhuǎn)變，以數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)。其中，Greenplum Chorus在行業(yè)中處于領(lǐng)先地位，它的操作使用習(xí)慣非常類似Facebook、開(kāi)心網(wǎng)的社交模式。通過(guò)Greenplum Chorus可以建立數(shù)據(jù)沙箱，將一定的數(shù)據(jù)變成一個(gè)集合，用戶都可以對(duì)這個(gè)集合利用工具進(jìn)行處理和分析，共享數(shù)據(jù)庫(kù)的分析結(jié)果。讓這個(gè)數(shù)據(jù)分析和挖掘，不再是專業(yè)人士做的事情，并且增加趣味性，各種角色可以進(jìn)行交互，形成一 個(gè)數(shù)據(jù)社交圈。EMC Gireenplum統(tǒng)一分析平臺(tái)還包括一個(gè)重要的方面，就是“數(shù)據(jù)科學(xué)家計(jì)劃”，它將人的智慧與技術(shù)產(chǎn)品相結(jié)合。 數(shù)據(jù)科學(xué)家不僅需要具基于數(shù)據(jù)本身的知識(shí)，還要求基于一定的數(shù)學(xué)建模能力，同時(shí)要懂得企業(yè)內(nèi)部的運(yùn)轉(zhuǎn)流程。所以數(shù)據(jù)科學(xué)家是能夠靈活利用各種工具去抓取數(shù)據(jù)，形成數(shù)據(jù)集合、數(shù)據(jù)沙箱，進(jìn)行快速實(shí)時(shí)分析和展現(xiàn)的一種角色，幫助企業(yè)將數(shù)據(jù)變成商業(yè)價(jià)值。

2.1.1.3英特爾(Intel)公司

英特爾公司是全球最大的個(gè)人計(jì)算機(jī)零件和CPU制造商.它成立于1968年，具基于46年計(jì)算機(jī)類產(chǎn)品生產(chǎn)歷史。英特爾公司在大數(shù)據(jù)處理方面致力于改善X86平臺(tái)芯片和架構(gòu)，以基于至強(qiáng)處理器構(gòu)建的IT基礎(chǔ)設(shè)施為基石，英特爾在其上針對(duì)大數(shù)據(jù)的分發(fā)和管理需求提供基于英特爾平臺(tái)優(yōu)化的Hadoop產(chǎn)品和服務(wù);在分析與發(fā)現(xiàn)層，提供針對(duì)客戶端與服務(wù)器端算法開(kāi)發(fā)的支持，以滿足大數(shù)據(jù)計(jì)算所需的性能與規(guī)模要求。

英特爾公司是一家致力于在硬件性能上為大數(shù)據(jù)技術(shù)研發(fā)助力的公司，共推出的至強(qiáng)處理器E7V2系列，針對(duì)大數(shù)據(jù)分析的需求，提供了一系列的性能特征的改進(jìn)，這些改進(jìn)主要包括內(nèi)存、核數(shù)以及可靠性等方面。英特爾至強(qiáng)處理器E7 V2產(chǎn)品家族最高可支持32 路的服務(wù)器平臺(tái).擁基于最多15個(gè)處理內(nèi)核和每插槽1.5TB內(nèi)存容量，平均性能為其上一代產(chǎn)品的兩倍。與上一代處理器相比，英特爾至強(qiáng)處理器E7 V2產(chǎn)品家族可支持3倍的內(nèi)存容量，能夠更快完成數(shù)據(jù)分析，幾乎達(dá)到實(shí)時(shí)處理分析水平。內(nèi)存分析功能會(huì)在系統(tǒng)內(nèi)存中放置整個(gè)數(shù)據(jù)集并進(jìn)行分析(例如一個(gè)企業(yè)的整個(gè)用戶數(shù)據(jù)庫(kù))， 而非名傳統(tǒng)硬盤上進(jìn)行。

結(jié)合強(qiáng)勁的處理器制造技術(shù)，英特爾公司在Hadoop開(kāi)源平臺(tái)的基礎(chǔ)上做了進(jìn)一步的改進(jìn)，提出了以開(kāi)源為基礎(chǔ)，在Hadoop系統(tǒng)， 包括HBase、HDFS里面都做了增強(qiáng)和優(yōu)化，使得開(kāi)源平臺(tái)在英特爾硬件上的運(yùn)行效率得到顯著的提高。該平臺(tái)結(jié)合自身強(qiáng)大技術(shù)、成熟市場(chǎng)經(jīng)驗(yàn)，打造面向大數(shù)據(jù)應(yīng)用的Hadoop高效平臺(tái)，基于助于提供相比其他Hadoop平臺(tái)更可靠、更高性能、更多和更易于處理的大數(shù)據(jù)解決方案。基于英特爾Hadoop發(fā)行版，在原基于的開(kāi)源版本基礎(chǔ)上進(jìn)行了特殊強(qiáng)化，包括HDFS、MapReduce以及HBase代碼的改寫，同時(shí)支持 SQL查詢指令語(yǔ)言 Hive。并推出了 Intel Hadoop Manager 2.0,優(yōu)化了 Hadoop的處理能力。

2.1.14 國(guó)際商業(yè)機(jī)器(IBM )公司

國(guó)際商業(yè)機(jī)器公司或萬(wàn)國(guó)商業(yè)機(jī)器公司，簡(jiǎn)稱IBM公司 (International Business Machines Corporation )。總部在紐約州阿蒙克市，IBM公司是世界上著名的信息技術(shù)和業(yè)務(wù)解決方案公司，業(yè)務(wù)包括咨洵、信息科技服務(wù)、軟硬件開(kāi)發(fā)等。2012年12月19日， IBM公司宣布，它已經(jīng)簽署了收購(gòu)StorcdIQ軟件公司的確定性協(xié)議。 IBM公司正在努力幫助客戶從大數(shù)據(jù)中獲得價(jià)值，例如対法律訴訟和法規(guī)做出更有效的問(wèn)應(yīng)，處理失效的信息和降低數(shù)據(jù)存儲(chǔ)成本。

PureDala是IBM公司 Pure system中的主要部分，是該公司開(kāi)發(fā)的主要面向大數(shù)據(jù)應(yīng)用的軟件系統(tǒng)。這款新的專家系統(tǒng)將具有處理在線交易及商業(yè)分析任務(wù)中大量數(shù)據(jù)的能力。IBM公司稱每天產(chǎn)生2.5EB數(shù)據(jù)，也就是說(shuō)90%的數(shù)據(jù)都是近兩年內(nèi)產(chǎn)生，而對(duì)如此龐大的數(shù)據(jù)，各行各業(yè)都在尋求簡(jiǎn)便高效的數(shù)據(jù)分析方式。用戶利用該系統(tǒng)能夠更迅速、更準(zhǔn)確地進(jìn)行數(shù)據(jù)分析，從而更有效地進(jìn)行商業(yè)活動(dòng)。即將推出的PureData包含三種類型的擴(kuò)展應(yīng)用產(chǎn)品： “PureData System for Transactions”系統(tǒng)主要用于處理各種大數(shù)據(jù)的聯(lián)機(jī)事物處理(OLTP)以及商業(yè)分析任務(wù)。例如，在交易處理方面，PureData可以在單一系統(tǒng)整合多種業(yè)務(wù)數(shù)據(jù)庫(kù)，優(yōu)化大量交易處理。PureData集成了基于 IBM DB2數(shù)據(jù)庫(kù)的PureScale集群技術(shù)。另外一種PureData 主要用于商業(yè)分析應(yīng)用，“PureData System for Operational Analytics”系統(tǒng)能夠?qū)?shù)以千計(jì)的交易進(jìn)行實(shí)時(shí)分析， 例如金融交易中的欺詐監(jiān)測(cè)和趨勢(shì)發(fā)現(xiàn)。“PureData System for Analytics”系統(tǒng)則基于 IBM在2010年收購(gòu)的Nctezza數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用, 該系統(tǒng)能夠處理結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)u

在PureData system的基礎(chǔ)上，IBM公司推出了面向Hadoop的全新IBM PureData系統(tǒng)PureData for Hadoop,旨在提高企業(yè)部署 Hadoop的速度，同時(shí)降低部署難度。全新PureData for Hadoop讓企業(yè)在使用企業(yè)級(jí)Hadoop技術(shù)時(shí)的加載時(shí)間從數(shù)周減少到數(shù)分鐘， 而且還為商業(yè)分析師和數(shù)據(jù)科學(xué)家提供使用、功能強(qiáng)大的分析工具，并為其呈現(xiàn)可視化效果。此外.新系統(tǒng)還提供了功能更強(qiáng)大的大數(shù)據(jù)工具，可用于監(jiān)測(cè)和研發(fā)，同時(shí)加強(qiáng)版的大數(shù)據(jù)工具可以與更多企業(yè)系統(tǒng)相兼容。同時(shí)在數(shù)據(jù)分析和處理技術(shù)上.IBM公司致力于研究推進(jìn)加速數(shù)據(jù)處理的相關(guān)技術(shù)產(chǎn)品。BLU Acccleratim便是其中最為關(guān)鍵的一項(xiàng)，該技術(shù)整合了大幅改善分析能力和簡(jiǎn)化管理的一系列技術(shù)，能夠?qū)?bào)告生成和數(shù)據(jù)分析速度提高25倍。BLU Acceleration的創(chuàng)新之處體現(xiàn)在，它實(shí)現(xiàn)了在動(dòng)態(tài)的內(nèi)存中進(jìn)行列式處理，采用了新的、無(wú)需解壓的數(shù)據(jù)壓縮技術(shù).以及并行向量處理和數(shù)據(jù)忽略技術(shù)(可以繞過(guò)對(duì)不相關(guān)數(shù)據(jù)的不必要處理)。借助 BLU Accderatkm.用戶可以更快速地抓取關(guān)鍵信息，從而做出更好的決策。

新版InloSphere Biglnsights:這款企業(yè)級(jí)Hadoop產(chǎn)品可以利用現(xiàn)有的SQL技術(shù)，更便捷地開(kāi)發(fā)應(yīng)用軟件。Biglnsights指利用大數(shù)據(jù)獲得更多的洞察力。用來(lái)處現(xiàn)磁盤中的靜態(tài)數(shù)據(jù)。InfoSphere Biglnsights 1.3的存儲(chǔ)和運(yùn)算框架采用了開(kāi)源的Hadoop MapReduce， 利用分布式文件存儲(chǔ)系統(tǒng)，將文件分成不同的部分存儲(chǔ)在不同的節(jié)點(diǎn)上，并進(jìn)行備份。相應(yīng)地可以在原有系統(tǒng)基礎(chǔ)之上，添加更多的節(jié)點(diǎn)進(jìn)行Scale Out,增加了擴(kuò)展性。.除了使用開(kāi)源的Hadoop架構(gòu)之外，IBM還針對(duì)Biglnsights進(jìn)行了改造，采用了 IBM特有的通用并行文件系統(tǒng)，即GPFS。利用GPFS的目的是為了避免單點(diǎn)故障，保證了可用性。分析功能是Biglnsights另一個(gè)重要的方面，在 IBM的信息管理產(chǎn)品線中還基于兩個(gè)分析產(chǎn)品一Cognos和SPSS, Biglnsights的分析模塊并不是照搬Cognos和SPSS,也不是來(lái)自于收購(gòu)的產(chǎn)品，而是完全由IBM研發(fā)的功能，Biglnsights將專門用于大數(shù)據(jù)分析。

書(shū)名：電力大數(shù)據(jù)：能源互聯(lián)網(wǎng)時(shí)代的電力企業(yè)轉(zhuǎn)型與價(jià)值創(chuàng)造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機(jī)械工業(yè)出版社