大資料時代讀書心得體會_大資料時代讀後感文章
《大資料時代》是英國維克托·邁爾-舍恩伯格教授的著作,這本書也被尊為國外大資料研究的先河之作。下面是帶來的大資料時代讀書心得,歡迎檢視。
大資料時代讀書心得體會範文1
《大資料時代》是英國維克托·邁爾-舍恩伯格教授的著作,這本書也被尊為國外大資料研究的先河之作。這本書最大的優點就在於作者利用上百個例子來對大資料的方方面面做了詳細解說,讓外行也很容易理解。結構上,作者通過大資料時代的思維變革、商業變革和管理變革三個角度依次闡述,條理清晰。
所謂"大資料",按作者的說法,就是"所有資料"。隨著計算機運算速度和儲存能力的發展,收集資料變得越來越簡單,儲存資料的成本越來越低。在過去,由於技術限制,人們做統計時只能收集有限的資料做樣本,其中要考慮隨機樣本的選擇,努力減小因樣本問題出現的誤差;統計結果往往不能重複使用,造成資料利用率低。而現在則可以做到"樣本=總體"。資料的增多帶來不可避免的精確性問題。 "小資料"時代,一個樣本的錯誤就可以造成對總體估計的失敗,幸運的是,"大資料"時代對精確性不再那麼要求苛刻——也無法要求太嚴格——資料的數量足以彌補這一缺陷。在對思維變革這一部分的闡述中,最重要也是全書的核心觀點就是大資料時代,我們應該從追求"因果關係"的舊思維方式向追求"相關關係"轉變。 在我看來,這實際上是通過大資料來透視一種事物的發展趨勢,而很多精確學科領域依然需要探尋"因果關係"解決更有針對性的問題,所以,這侷限了這一轉變只能在特定的領域發生。作者自己也說,"大資料的相關性將人們指向了比探討因果關係更有前景的領域。"
大資料時代的資料獲取方式是多種多樣,資料形式也是千變萬化,任何文字、行為、萬物都可以被資料化後用來分析。對這些資料的利用,不僅要考慮到其初次使用價值,更要放眼它未來可能的用途以提高資料的利用率。當然資料並不是無限使用,時效、環境的變化肯定會對資料提出新的要求,所以資料的折舊也是應當考慮的。這又引出了對資料這一無形資產的估值可能性。對於Facebook, Twitter這樣的公司來說,資料就是他們的核心,如何在資產負債表上給他們一個公正的體現正是我們需要考慮的。
大資料時代的價值鏈由三部分構成,我把它們簡化為"生產—分析—使用"三個環節,這對應書中的三種類型公司: 第一種是基於資料本身的公司,第二種是基於技能,第三種則是基於思維。在大資料早期,技能和思維最有價值,但作者認為,最終,大部分的價值還是必須從資料本身來挖掘。這是假定了一個成熟的市場,人人都瞭解了大資料的用途。
對於普通人來說,大資料時代最關心的還是隱私問題。不知不覺中,個人的一舉一動都暴露在政府甚至私人企業之下,還面臨潛在的洩露風險。對此,作者提出了使用者承擔責任的解決辦法,而不是過去那種流於形式的使用授權。大資料甚至能預測一個人的犯罪動機,這給監管者帶來的難題是,預測一個人要犯罪,懲罰還是不懲罰?在這點上,社會達成"個人僅需對行為而非動機負責"的共識非常重要。
大資料時代的風險控制靠的是"演算法師",類似會計師一樣的職業,對大資料的準確度或有效性進行鑑定。這能在一定程度上防止資料濫用的發生和資料獨裁。當今的法律亦需對大資料監管進行修訂補充。
當代大資料發展主要由科技公司推動,相信在不久的將來更多的傳統領域會意識到大資料的重要性。但我們也應該保持清醒,大資料並不是萬能藥,對某些領域或環節,使用大資料是一種簡單且實用的選擇;但對某些領域,盲目使用大資料只會適得其反。
大資料時代讀書心得體會範文2
4月13日下午,在湖南大學東樓205參加了關於《大資料時代》的讀書交流活動。通過相互交流學習,使我更深層次的理解了大資料時代的利與弊,機遇和挑戰。在寫心得體會前,我想再重新審視一下關於大資料的歷史沿革和現實意義。
首先,最早提出“大資料”時代到來的是全球知名諮詢公司麥肯錫,麥肯錫稱:“資料,已經滲透到當今每一個行業和業務職能領域,成為重要的生產因素。人們對於海量數 據的挖掘和運用,預示著新一波生產率增長和消費者盈餘浪潮的到來。”“大資料”在物理學、生物學、環境生態學等領域以及軍事、金融、通訊等行業存在已有時日,卻因為近年來網際網路和資訊行業的發展而引起人們關注。大資料作為雲端計算、物聯網之後又IT行業又一大顛覆性的技術革命。雲端計算主要為資料資產提供了保管、訪問的場所和渠道,而資料才是真正有價值的資產。企業內部的經營交易資訊、物聯網世界中的商品物流資訊,網際網路世界中的人與人互動資訊、位置資訊等,其數量將遠遠超越現有企業IT架構和基礎設施的承載能力,實時性要求也將大大超越現有的計算能力。如何盤活這些資料資產,使其為國家治理、企業決策乃至個人生活服務,是大資料的核心議題,也是雲端計算內在的靈魂和必然的升級方向。
其次,進入2012年,大資料big data一詞越來越多地被提及,人們用它來描述和定義資訊爆炸時代產生的海量資料,並命名與之相關的技術發展與創新。它已經上過《紐約時報》《華爾街日報》的專欄封面,進入美國白宮官網的新聞,現身在國內一些網際網路主題的講座沙龍中,甚至被嗅覺靈敏的國金證券、國泰君安、銀河證券等寫進了投資推薦報告。資料正在迅速膨脹並變大,它決定著企業的未來發展,雖然很多企業可能並沒有意識到資料爆炸性增長帶來問題的隱患,但是隨著時間的推移,人們將越來越多的意識到資料對企業的重要性。正如《紐約時報》2012年2月的一篇專欄中所稱,“大資料”時代已經降臨,在商業、經濟及其他領域中,決策將日益基於資料和分析而作出,而並非基於經驗和直覺。哈佛大學社會學教授加里·金說:“這是一場革命,龐大的資料資源使得各個領域開始了量化程序,無論學術界、商界還是政府,所有領域都將開始這種程序。”
最後,隨著雲時代的來臨,大資料Big data也吸引了越來越多的關注。著雲臺的分析師團隊認為,大資料Big data通常用來形容一個公司創造的大量非結構化和半結構化資料,這些資料在下載到關係型資料庫用於分析時會花費過多時間和金錢。大資料分析常和雲端計算聯絡到一起,因為實時的大型資料集分析需要像MapReduce一樣的框架來向數十、數百或甚至數千的電腦分配工作。“大資料”在網際網路行業指的是這樣一種現象:網際網路公司在日常運營中生成、累積的使用者網路行為資料。這些資料的規模是如此龐大,以至於不能用G或T來衡量。大資料到底有多大?一組名為“網際網路上一天”的資料告訴我們,一天之中,網際網路產生的全部內容可以刻滿1.68億張DVD;發出的郵件有2940億封之多相當於美國兩年的紙質信件數量;發出的社群帖子達200萬個相當於《時代》雜誌770年的文字量;賣出的手機為37.8萬臺,高於全球每天出生的嬰兒數量37.1萬……,截止到2012年,資料量已經從TB1024GB=1TB級別躍升到PB1024TB=1PB、EB1024PB=1EB乃至ZB1024EB=1ZB級別。國際資料公司IDC的研究結果表明,2008年全球產生的資料量為0.49ZB,2009年的資料量為0.8ZB,2010年增長為1.2ZB,2011年的數量更是高達1.82ZB,相當於全球每人產生200GB以上的資料。而到2012年為止,人類生產的所有印刷材料的資料量是200PB,全人類歷史上說過的所有話的資料量大約是5EB。IBM的研究稱,整個人類文明所獲得的全部資料中,有90%是過去兩年內產生的。而到了2020年,全世界所產生的資料規模將達到今天的44倍。
首先,談談大資料帶給生活的轉變。大資料已經是資訊產業發展的必然趨勢,可以說,大資料現在已經開始慢慢滲透入我們的生活,如:現在流行的打車軟體、三維立體化社群的建立、某些從事生產銷售的行業利用大資料來優化規模和實現利益最大化。而我們很多人對大資料還很陌生,只是被動的適應著大資料給生活帶來的改變。大資料時代是以雲端計算為基礎的,所以,要實現大資料,相關的很多的硬體裝置都要更新換代,資訊處理系統、資訊傳輸系統、資訊反饋系統、資訊決策系統都將面臨新的挑戰,相關產業都要重新調整產業結構,在那時,可以誇張的說,資訊就是黃金,資訊就是石油。大資料時代的到來會解放更多的勞動生產力,勢必將會更加加劇生產力過剩的現狀,社會兩極分化現象會更加明顯,掌握不了資訊資源,很難再翻身,要防止資訊壟斷帶來的可怕局面。大資料時代的到來會使人們的生活節奏急速加快,資訊的時效性決定了它的流通速率,人們的生活節奏要跟上資訊流通的速率,就不得不加快自己的節奏,人們會越來越忙,到那時,就像現在的日本,可能想找個人聽你說說話,真的是一件很難的事。
第二,關於資料管理的看法。大資料時代,資料管理是一件很重要的工作,如何才能避免自己的資料被非法竊取、丟失和被盜?我的看法是,人防、技防、物防一體化。人防,即我們要從思想上牢固樹立資訊安全防範的意識,不主動洩露資訊,要管理好自己身邊的資訊裝置;技防,就是要運用軟體來管理和處理資料,經常檢查更新資料庫,定時查殺電腦病毒,確保電腦狀況安全;物防,就是重要的資料一定要備份保留,而且應當做到備份與原始檔案是物理隔離,無關的資訊應當及時刪除,減輕硬碟的壓力。
三、怎麼保護自己的隱私。隱私,顧名思義,就是不願意讓別人看到的東西,所以,在大資料時代,更要管理好自己的隱私,以免對自己和家人造成麻煩和損失。越是隱私的資訊,越要遠離網路,不要再公開的社交網路儲存和展示個人圖片、資料等資訊,免得被非法人士採用和竊取。建議還是用紙質的日記代替電腦日記,避免資訊傳播範圍太大,管理好自己的日記本。研發一種新的硬體聯結器,總是以隨機碼來保護自己真實IP地址,提高網路安全的可靠性,加強對聯網資訊的管理和保護。
不論我們情不情願,大資料時代都會到來,現實社會是我們高喊著走向大資料時代,其實大資料時代已經向我們走來,所以與其被動接受,不如主動學習,從中找到自己的出路,成為大資料時代的建設者和受益者。
大資料時代讀書心得體會範文3
未來的十年,將是大資料引領下的智慧科技時代。不管你是否意識到它的存在,大資料都將越來越快地改變我們這個時代,包括我們的生活方式。
維克托·邁爾-舍恩伯格是最早洞見大資料時代發展趨勢的資料科學家之一。他通過一個大家熟知的事例,來幫助我們理解“大資料”的潛在影響力,那就是四個世紀之前望遠鏡和顯微鏡的發明。望遠鏡能夠讓我們感受宇宙,顯微鏡能夠讓我們觀測微生物,它們都是收集海量資料的新工具,因為這種工具的發明,人們同步更新了分析資料的技術和方法,促進了人們對世界更好的理解。如果說望遠鏡和顯微鏡是測量領域中的一場革命,那麼今天的資料測量就相當於是現代版的望遠鏡、顯微鏡。隨著社交網路的逐漸成熟,移動頻寬迅速提升,雲端計算、物聯網應用更加豐富,以及更多的感測裝置、移動終端接入到網路,由此產生的資料及資料的增長速度比歷史上的任何時期都要多、都要快。一個大資料的時代,不經意間順理成章地翩然而至。
一、什麼是大資料?
大資料是當前最熱門的話題之一。但什麼是大資料,人們尚未給出確切的定義。首先,“大資料”是相對過去小的、區域性性的資料而言的;其次,利用大資料進行分析和工作時,所依據的關於此事儘可能完整的資料,從而“一覽眾山小”,而不是採用區域性的小資料,從區域性推斷整體。
維克托也並未直接給出大資料的定義。不過,他用三大轉變描述了大資料的特性:
轉變之一:在大資料時代,我們可以分析更多的資料,有時候甚至可以處理和某個特別現象相關的所有資料,而不再依賴於隨機取樣。例如一項針對相撲比賽中非法操縱比賽結果的研究對64000場比賽進行了分析,這算不上一個很大的數字,但由於這是過去十年所有的比賽,所以它是大資料。
轉變之二:由於有了更多的資料,我們可以接受更多的混雜、更多資料上的不精確。如果我們對於一個事物只有50個數據點,那麼每一個數據點都必須非常精確,因為每個資料點都是有用的;但是如果我們有5000萬個,去掉10個,甚至去掉1000個都沒有太大的問題。
轉變之三:不再探求難以捉摸的因果關係,轉而關注事物的相關關係。分析大資料主要為了預測未來“是什麼”,而不是“為什麼”。因為很多時候我們以為我們找到了事情背後的原因,實際上卻沒有找到。更多時候知道了“是什麼”就足夠了。例如知道流感將會擴散到哪裡就足夠了,我不需要知道為什麼;知道什麼時候在網上購買機票能夠獲得最優惠的價格就足夠了,我不需要知道為什麼此時價格最低。
二、大資料帶來的變化
大資料從根本上改變我們認識世界和改變世界的方式。很多傳統的習慣將被顛覆,很多舊的制度將面臨挑戰。舉例來說:
第一,科學探究的思路和方式受到挑戰
探究是新課程改革中的一個熱詞,是促進學校教學與科學研究相融合的實踐舉措。科學探究的基本路徑是:發現問題,提出假設,制定方案,實踐探究,分析資料,得出結論。之所以會梳理出這樣一個探究的路徑,與我們對問題知曉的資訊過少有關。換句話說,對所要研究的事物,我們知道的資料很少,需要從這些很小的資料出發,通過猜想和假設,進行試探性的研究,如果研究得出的結果和自己的假想是一致的,則說明我們的假說是正確的,這些假說會上升為對該事物描述的知識,我們掌握該事物的資料也隨之增加。
利用測量所獲得的點滴資料,從一個區域性來推測世界是怎樣的,這是科學探究的基本思路和方式。長期以來,我們總是通過這樣的方式來認識世界,對其有宗教般的信仰。儘管我們知道,決策者總是先有了想法,才會提出假設。如果決策者自身對所研究的事情存在著偏見,所提出的假設就很難得到實證的支援,這往往會導致探究花費了很長的時間、很大的物力和財力,也常常勞而無功。但科學研究者還是堅定不移地沿著這條道路前行,學校在教學中也將其作為科學研究的基本規範來傳授。
在大資料時代,這樣的研究方式收到了極大的挑戰。先舉個事例來說吧。手機輻射是否能夠致癌?關於這個問題,無論我們的假設如何,實驗的設計都很難進行。首先,樣本選擇過少,沒有統計學上的意義;其次,不能拿人做研究物件;第三,短時間的研究很難觀察到變化。有了大資料之後,這樣的難題就可以迎刃而解了。前段時間,丹麥就進行了這樣的研究。丹麥擁有1985年手機推出以來所有手機使用者的資料庫。他們從這個資料庫中分析了1990年至2007年擁有手機的所用使用者的資料,同時,他們還收集了這一期間醫院收集的所有癌症患者的資料,然後分析手機使用者是否比非手機使用者有更高的癌症發病率。這兩個資料庫本身是完全獨立的,在作分析之前從來沒有想過可以做這樣的研究。結果表明,使用移動使用者和癌症風險增加之間不存在任何關係。2011年10月,這一研究的結果發表在《英國醫學雜誌》上。
上述的案例告訴我們,在獲得了大量的資料,能夠對事物的整體進行全面的認識之後,假想就沒有意義了,我們可以直接根據全面的資料做出結論。
大資料時代讀書心得體會的人還: