大資料發展歷史簡介

  大資料或稱巨量資料,指的是需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的資訊資產。以下是小編為大家整理的,希望能幫到你。

  

  早在1980年,著名未來學家阿爾文·托夫勒便在《第三次浪潮》一書中,將大資料熱情地讚頌為“第三次浪潮的華彩樂章”。不過,大約從2009年開始,“大資料”才成為網際網路資訊科技行業的流行詞彙。美國網際網路資料中心指出,網際網路上的資料每年將增長50%,每兩年便將翻一番,而目前世界上90%以上的資料是最近幾年才產生的。此外,資料又並非單純指人們在網際網路上釋出的資訊,全世界的工業裝置、汽車、電錶上有著無數的數碼感測器,隨時測量和傳遞著有關位置、運動、震動、溫度、溼度乃至空氣中化學物質的變化,也產生了海量的資料資訊。

  2005年Hadoop專案誕生。Hadoop其最初只是雅虎公司用來解決網頁搜尋問題的一個專案,後來因其技術的高效性,被ApacheSoftwareFoundation公司引入併成為開源應用。Hadoop本身不是一個產品,而是由多個軟體產品組成的一個生態系統,這些軟體產品共同實現全面功能和靈活的大資料分析。從技術上看,Hadoop由兩項關鍵服務構成:採用Hadoop分散式檔案系統***HDFS***的可靠資料儲存服務,以及利用一種叫做MapReduce技術的高效能並行資料處理服務。這兩項服務的共同目標是,提供一個使對結構化和複雜資料的快速、可靠分析變為現實的基礎。

  2008年末,“大資料”得到部分美國知名電腦科學研究人員的認可,業界組織計算社群聯盟***ComputingCommunityConsortium***,發表了一份有影響力的白皮書《大資料計算:在商務、科學和社會領域建立革命性突破》。它使人們的思維不僅侷限於資料處理的機器,並提出:大資料真正重要的是新用途和新見解,而非資料本身。此組織可以說是最早提出大資料概念的機構。

  2009年印度政府建立了用於身份識別管理的生物識別資料庫,聯合國全球脈衝專案已研究了對如何利用手機和社交網站的資料來源來分析預測從螺旋價格到疾病爆發之類的問題。

  2009年中,美國政府通過啟動Data.gov網站的方式進一步開放了資料的大門,這個網站向公眾提供各種各樣的政府資料。該網站的超過4.45萬量資料集被用於保證一些網站和智慧手機應用程式來跟蹤從航班到產品召回再到特定區域內失業率的資訊,這一行動激發了從肯亞到英國範圍內的政府們相繼推出類似舉措。

  2009年,歐洲一些領先的研究型圖書館和科技資訊研究機構建立了夥伴關係致力於改善在網際網路上獲取科學資料的簡易性。

  2010年2月,肯尼斯?庫克爾在《經濟學人》上發表了長達14頁的大資料專題報告《資料,無所不在的資料》。庫克爾在報告中提到:“世界上有著無法想象的巨量數字資訊,並以極快的速度增長。從經濟界到科學界,從政府部門到藝術領域,很多方面都已經感受到了這種巨量資訊的影響。科學家和計算機工程師已經為這個現象創造了一個新詞彙:“大資料”。庫克爾也因此成為最早洞見大資料時代趨勢的資料科學家之一。

  2011年2月,IBM的沃森超級計算機每秒可掃描並分析4TB***約2億頁文字量***的資料量,並在美國著名智力競賽電視節目《危險邊緣》“Jeopardy”上擊敗兩名人類選手而奪冠。後來紐約時報認為這一刻為一個“大資料計算的勝利。”

  2011年5月,全球知名諮詢公司麥肯錫***McKinsey&Company***肯錫全球研究院***MGI***釋出了一份報告——《大資料:創新、競爭和生產力的下一個新領域》,大資料開始備受關注,這也是專業機構第一次全方面的介紹和展望大資料。報告指出,大資料已經滲透到當今每一個行業和業務職能領域,成為重要的生產因素。人們對於海量資料的挖掘和運用,預示著新一波生產率增長和消費者盈餘浪潮的到來。報告還提到,“大資料”源於資料生產和收集的能力和速度的大幅提升——由於越來越多的人、裝置和感測器通過數字網路連線起來,產生、傳送、分享和訪問資料的能力也得到徹底變革。

  2011年12月,工信部發布的物聯網十二五規劃上,把資訊處理技術作為4項關鍵技術創新工程之一被提出來,其中包括了海量資料儲存、資料探勘、影象視訊智慧分析,這都是大資料的重要組成部分。

  2012年1月份,瑞士達沃斯召開的世界經濟論壇上,大資料是主題之一,會上釋出的報告《大資料,大影響》***BigData,BigImpact***宣稱,資料已經成為一種新的經濟資產類別,就像貨幣或黃金一樣。