雲端計算與雲端儲存深度分析與介紹
雲的定義是,懸浮在空中,不接觸地面,肉眼可見的水滴、冰晶或二者的混合體。是指停留大氣層上的水滴或冰晶膠體的集合體。雲是地球上龐大的水迴圈的有形的結果。太陽照在地球的表面,水蒸發形成水蒸氣,一旦水汽過飽和,水分子就會聚集在空氣中的微塵***凝結核***周圍,由此產生的水滴或冰晶將陽光散射到各個方向,這就產生了雲的外觀。那網路雲,又有多少朋友知道或瞭解呢?下面小編就為大家介紹一下什麼是網路雲,歡迎大家參考和學習。
網路雲 雲儲存與雲端計算的內外聯絡
雲端計算是分散式處理***DistributedComputing***、並行處理***ParallelComputing***和網格計算***GridComputing***的發展,是透過網路將龐大的計算處理程式自動分拆成無數個較小的子程式,再交由多臺伺服器所組成的龐大系統經計算分析之後將處理結果回傳給使用者。通過雲端計算技術,網路服務提供者可以在數秒之內,處理數以千萬計甚至億計的資訊,達到和“超級計算機”同樣強大的網路服務。
雲端計算系統的建設目標是將執行在PC上、或單個伺服器上的獨立的、個人化的運算遷移到一個數量龐大伺服器“雲”中,由這個雲系統來負責處理使用者的請求,並輸出結果,它是一個以資料運算和處理為核心的系統。
雲端儲存是在雲端計算***cloudcomputing***概念上延伸和發展出來的一個新的概念,是指通過叢集應用、網格技術或分散式檔案系統等功能,將網路中大量各種不同型別的儲存裝置通過應用軟體集合起來協同工作,共同對外提供資料儲存和業務訪問功能的一個系統。當雲端計算系統運算和處理的核心是大量資料的儲存和管理時,雲端計算系統中就需要配置大量的儲存裝置,那麼雲端計算系統就轉變成為一個雲端儲存系統,所以雲端儲存是一個以資料儲存和管理為核心的雲端計算系統。
與雲端計算系統相比,雲端儲存可以認為是配置了大容量儲存空間的一個雲端計算系統。
網路雲
從架構模型來看,雲端儲存系統系統比雲端計算系統多了一個儲存層,同時,在基礎管理也多了很多與資料管理和資料安全有關的功能,在兩者在訪問層和應用介面層則是完全相同的。
雲端計算到底有多大?
計算機的雲端計算已經捨我其誰地成為了現今網際網路發展的主題,其延伸和發展出的雲端儲存也當仁不讓地成為了主流的資料儲存和管理方式。雲端儲存系統正逐步成為網站和網路服務方用於存放管理自己資料資訊的主要選擇。雲那頭究竟風景如何,讓我們來探個究竟。
根據科技網站ExtremeTech的統計,整個網際網路的下載流量中,有40%是訪問YouTube這樣的視訊網站產生的;色情網站則佔了另一大山頭,佔據整體流量的30%;剩下的30%由網路硬碟資料下載、訪問網址、***等日常網路服務產生。當電腦前的人們從網際網路上獲取資訊時,大概沒有人會去關注資訊究竟來自何處。如果大家順藤摸瓜,便可以發現這些資訊中的絕大部分都來源於網際網路的雲端。
如今提供雲端儲存服務的服務商不僅有亞馬遜***旗下Amazon Web Services***,微軟***旗下Microsoft Azure***和谷歌***旗下Google Drive***這樣的網路巨頭,還有成百上千的小公司機構。他們中或擁有一整個資料中心,或只有幾個機箱的儲存裝置,規模參差不齊。從這些大大小小的公司身上我們大可窺探整個雲儲存產業的火爆程度。
雲端計算因其出眾的能力備受青睞,它可以最快的效率為網路中的任何一方提供相關服務。谷歌麾下單單一個為YouTube服務的“雲團”就可以儲存管理幾個PB***1PB=1024TB***的資料。雲端計算可以有幾TB的RAM與幾千核的CPU,遠非傳統計算機可比。而云計算延伸發展出的雲端儲存又究竟有著怎樣的魅力,引得谷歌、微軟和Dropbox這樣的巨頭競相折腰?讓我們從資料入手。
雲端儲存資料規模
通常,谷歌、Facebook、亞馬遜和微軟這樣的大公司都很少對外發布自己的詳細資料。不過如果用心去多方核查,還是可以得到一些大概的數值,Facebook:在Facebook的IPO檔案中,他們提到自己儲存著約為100PB的圖片及視訊資訊。如果考慮了Facebook還要對使用者狀態這些資訊進行網路備份,我們猜測100PB絕對不是他們的儲存上限。這裡,把這個數值估為300PB應該不為過。
微軟:微軟近日承認自己的Hotmail伺服器記憶體有超過100PB的資訊,而有著1700萬用戶的SkyDrive也存有10PB的資訊。合理預測整個微軟的儲存規模應該不在Facebook之下,我們也把它的儲存上限估為300PB。
Megaupload:和上面兩個網路巨頭相比Megaupload自然是小巫見大巫,不過它在業內確也有著一席之地,算是25PB吧。亞馬遜:亞馬遜旗下有Simple Storage Service這一網路儲存服務***簡稱S3***。亞馬遜從來沒有向公眾透露過S3究竟存有多大規模的資料量,不過今年四月他們卻對外宣佈S3中存有9050億份檔案。假設平均每份檔案的大小為100KB,則S3的儲存量在90PB上下;假設平均每份檔案為1MB,那麼S3的儲存規模將達到900PB,它將成為唯一一個儲存規模接近1EB的服務商。
Dropbox,:去年還只有2500萬用戶的Dropbox當時對外宣佈,自己儲存著逾10PB的資料。如今Dropbox的使用者數已經上升到了一億,那麼他們的儲存規模應該在40PB上下。儲存這些資料究竟多耗地方呢?我們得把這些虛擬資料的大小具體化。一臺普通電腦的硬碟平均儲存空間為500GB或者1TB,1PB=1024TB,也就是說微軟和Facebook最少也得有100000個硬碟用於儲存資訊。普遍情況下,一個4U機箱內可以塞進48個硬碟。考慮到還要塞一些其他的連線裝置,那麼一個40U的機櫃大概可以儲存400個硬碟。
一個40U的機櫃佔地約為一平方米,也就是說要儲存100000個硬碟還是很佔地方的。不過對於谷歌、亞馬遜、Facebook或是微軟這樣有著30000多平米大樓的地主公司來說,找個地方放機櫃還是不成問題的。事實上, CPU、伺服器和閘道器比硬碟要佔地得多。
雲頻寬要求
關於頻寬我們能獲得的資料就更加的有限了。有資料顯示去年全球內每五分鐘都有100萬份資料被下載。今年的網路使用者比去年多了3倍,那麼今年每分鐘的下載數量達到了80萬的水平。亞馬遜的S3作為全球網路儲存之首,對外宣佈他們的伺服器每秒鐘要處理的下載請求達到了65萬份。
Dropbox:假設Dropbox上每份檔案***有圖片檔案、視訊檔案和文件***的平均大小是500KB,那麼根據Dropbox公佈的資料可以推測他們伺服器每分鐘的流入資料流***使用者上傳資料***為0.4TB,也就是每秒6.7GB***交換頻寬54Gbps***。對於Dropbox的流出資料流***使用者從Dropbox伺服器上下載檔案***我們沒有詳細資訊,不過可以估計頻寬大概在10-20Gbps之間。
亞馬遜S3:亞馬遜的S3主要是用於網站儲存資料,所以檔案以文字圖片、網站樣式檔案和網頁視訊為主。這些檔案的平均大小會小於Dropbox,假設為100KB。根據亞馬遜公佈的資訊,他們每秒接到650000個數據請求,那麼就是每秒61GB***交換頻寬488Gbps***,真是個龐然大物, Facebook及微軟:兩者的資料儲存規模都在100PB到300PB,我們估計兩者頻寬位於Dropbox和亞馬遜S3之間,暫且定為200Gbps。
雲的成本分析***以Backblaze為例***
我們知道,以上雲端儲存服務商都不允許使用者在他們的雲端下載自己的軟體,也不允許使用者在自己的雲端儲存涉及自己公司硬體資料的資訊。不過這個行業內有這麼一個例外,它就是Backblaze。特立獨行的Backblaze作為雲備份服務提供商來說無法在規模上和上述巨頭相比,不過也別小看它,它的資料肯定會讓你大吃一驚。
Backblaze對外公佈,自己管理著32PB的使用者資料。這些資料基本上都被儲存在容量為3TB容量的硬碟內。在處理資料冗餘方面,Backblaze把每15個硬碟捆綁為一個磁碟陣列,每兩組用RAID 6效驗處理。RAID 6可以校驗重組硬碟傳輸的資料錯誤,同時快捷有效地恢復磁碟錯誤與讀取錯誤,這對於一個數據中心而言是至關重要的。
Backblaze的伺服器以每月3PB的速度擴張,他們每一段時間新增一個135TB的定製4U資料盒***此盒內裝置了45個3TB的硬碟***。每月3PB也就是說每月新增大概22個數據盒,相當於每月增加一個48U的機櫃。每個定製資料盒的花費在7384美元,乍看起來每月添置這麼多的資料盒真是一筆不小的運營支出,但這筆開銷可以算是Backblaze財務報表內最小的一塊。電費、房租和頻寬開銷才是主要的資金負擔,這些費用保持著與時俱進的態度漲個不停。
Backblaze公司的電費是0.2美元每千瓦時,每個資料盒的每月電費就要100美元。由此可見一個數據中心要負擔的電費是相當高昂的,所以多數網路公司都選址建於電費相對低廉的地區,比如美國的俄勒岡州***Oregon***。Backblaze並沒有屬於自己的資料中心,他們租用第三方的資料中心存放自己的伺服器,也就是說他們每個月還要負擔房租開銷***每個機櫃平攤下來月房租為1000美金***。目前Backclaze手下約有300個數據盒,40個機櫃,也就是說每月的電費為30000美元,房租為40000美元。
然後就是頻寬的費用了。Backblaze一直採用12Gbps的境內頻寬***每秒傳輸速度約為1.5GB***和500Mpbs的***頻寬***每秒傳輸速度約為62.5MB***。之所以兩條線路速度不同是因為Backblaze作為一家提供雲備份服務的公司,客戶主要分佈在美國國內。但500Mbps的頻寬是非常不流暢的,我們可以想象***使用者在使用Backblaze時的網路很不理想。
目前Backblaze每天要接受約一億份來自使用者的檔案,摺合每年365億份。數字顯示了一個很驚人的發展速度,因為這個數字在2011年還僅僅只有6億。我們不知道一臺計算機具體能夠儲存多少檔案,但按照每臺5000個檔案估算***不包括Windows系統檔案及program files資料夾檔案***,保守估計至少有120000臺計算機在Backclaze上做了檔案備份。
在Backblaze的初創期,他們每月每Mbps的頻寬費用是30美元,不過現在這個開銷已經下降到每月每Mbps 2美元了。估算公司每月負擔的頻寬費用在25000美元上下。如果Backblaze選擇更為廉價的頻寬服務商,並且建立屬於自己的資料中心而不是租用別人的地皮,公司的費用還有很大的下行空間。綜上所述,合理地考慮房租、頻寬開銷和用電費用後,運營一個40PB規模的“雲團”***不計員工工資***每月要耗費10萬美元。
雲的收益分析
以微軟、谷歌和Dropbox為代表的大批公司都爭先恐後地入駐雲儲存領域。為佔領市場份額,各公司之間所做的激烈競爭也是路人皆知。各方英雄鹿逐中原究竟為何原因,以下數字你就知道了。以Backblaze為例,Backblaze提供的無限空間網路備份服務每月收費5美元。上文推導得出該公司每月負擔的費用在10萬美元上下***不計員工工資***,也就是說為了達到收益——支出平衡它需要20000個使用者。Backblaze究竟有多少使用者我們不得而知,不過公司的CEO對外宣稱公司是很賺錢的。***Backblaze只有13個員工,順便說一下,他們沒有被拖欠工資***
Dropbox公司可以做一個更好的例子。Dropbox提供的50GB網路儲存服務收費為每年100美元。與Backblaze不同,Dropbox沒有屬於自己的資訊儲存裝置,他們連裝置都是租的。Dropbox把自己的資料儲存在亞馬遜的S3伺服器中,儲存規模達到了40PB。對於儲存規模在5PB以上的客戶,亞馬遜的收費標準為每月每GB0.055美元。
假設購買了Dropbox50GB容量儲存服務的普通客戶平均在雲端存有25GB檔案,那麼Dropbox每月要為每一個客戶支付給亞馬遜1.38美元,而他們每月可以從客戶手上拿到近10美元。這樣的利潤是可觀的,但事實上像微軟Skydrive、谷歌Drive和亞馬遜S3這樣自己擁有資料中心的雲端儲存服務商能到手的收入比這更多。
話說回來以上利潤估值只是一個理想值,它建立在使用者為付費使用者的前提之上。然而在現實中有很多人只選擇了免費的雲儲存服務。Dropbox有一億客戶,其中的絕大部分都是非付費使用者,付費使用者的數字相當有限。所以他們到手的利潤也沒有理想中那麼豐厚。
雲時代
對於各大企業來說,入駐雲儲存領域更大的動機還是出於發展戰略的考慮。谷歌和微軟兩個老對手已經把雲端計算作為了他們的下一個戰場。微軟可能會將雲端計算服務於Windows 8系統,屆時使用者只需登入自己的網路賬戶就可以把計算機上所有的檔案和設定同步到雲端,此時的“個人電腦”將成為一個全新的概念,它將不再依託於我們面前的電腦裝置,使用者可以隨意更換電腦,甚至只要用任何一臺可以上網的機器***比如PS 3***連線進入自己的賬戶,就可以使用屬於自己的“電腦”。
谷歌也會把自己的Chrome系統打造為“雲上系統”,完全地基於網路。不僅是Chrome,新的安卓系統也會朝著雲端計算的方向靠近。在不遠的將來谷歌會把自己旗下的一系列產品通過計算機雲整合起來,建立一個全新的“雲時代”。
最終,這些網路巨頭將把移動裝置和個人電腦通過計算機雲融為一體。使用者如果習慣使用谷歌的辦公和資料儲存系統,他可以使用Chrome系統加上安卓手機,因為這兩者已經通過谷歌的計算機雲合為一體。使用者如果鍾情於微軟的辦公及資料儲存系統,那麼Windows 8加Windows Phone 7就是他最好的選擇。
如今的蘋果也已經推出了iCloud服務,使用者使用任何一臺iPad、iPhone 4S或是Mac Pro和Mac Air登陸自己的iCloud賬戶都可以把相當一部分的資訊上傳到雲端,雲儲存幫助蘋果打通了裝置之間的隔閡。等到微軟、谷歌和蘋果都把計算機雲整合到自己的作業系統內部,建立起屬於自己的網路軍團時,不知Dropbox這樣的孤兵散將又該何去何從。