中文字幕在线观看,亚洲а∨天堂久久精品9966,亚洲成a人片在线观看你懂的,亚洲av成人片无码网站,亚洲国产精品无码久久久五月天

金山云CTO楊鋼:從零開始 做大云存儲(chǔ)

2019-02-26    來源:多智時(shí)代

容器云強(qiáng)勢上線!快速搭建集群,上萬Linux鏡像隨意使用

在這種情況下,還會(huì)有一個(gè)問題,業(yè)務(wù)邏輯和業(yè)務(wù)邏輯之間它們會(huì)進(jìn)行通訊,因?yàn)檎嬲膽?yīng)用會(huì)連貫的過程,比如說,在網(wǎng)上拍了一個(gè)物品,不管是庫存的邏輯還是用戶這邊的邏輯,訂單處理那邊的邏輯必須都串起來,這時(shí)候有兩種方式,一種同步,一種是異步,同步是一個(gè)邏輯服務(wù),另外一個(gè)邏輯服務(wù)等他返回,對(duì)要求一致性非常適用,但這種有很大的問題,很容易由一個(gè)端點(diǎn)引起整個(gè)系統(tǒng)的血崩,大家基本上可以看到,特別是網(wǎng)購,在做活動(dòng)的時(shí)候,會(huì)出現(xiàn)明年買3倍服務(wù)器,對(duì)于電商來說是經(jīng)常遇到的事情。

另外一種方式是異步,把這個(gè)請(qǐng)求發(fā)過去,這個(gè)請(qǐng)求完成之后,由后者再通知另外一個(gè)地方,完成這業(yè)務(wù)鏈,這個(gè)對(duì)一致性要求不是那么高的場合,對(duì)用戶評(píng)論,晚個(gè)半分鐘出來沒什么問題,這種需要消息系統(tǒng)他們來做,用戶接入這塊第一排最右邊是消息系統(tǒng),有很多開源的方案,隨便選一個(gè)就可以,我們自己開發(fā),性能上還不是太夠。另外是在用戶接入的時(shí)候,調(diào)度系統(tǒng),因?yàn)楝F(xiàn)在業(yè)務(wù)邏輯非常多,但你不可能對(duì)用戶來說,每個(gè)企業(yè)起不同的域名,接到不同前端負(fù)載服務(wù)器,域名方案不是太適合,這時(shí)候需要集中調(diào)度,用戶所有請(qǐng)求到調(diào)度里面去做一次清洗,很多用戶請(qǐng)求是錯(cuò)誤的,因?yàn)槌隽藛栴},很多業(yè)務(wù)嘗試破解你的服務(wù),這種情況在調(diào)度里面會(huì)清洗掉,有的不一定是惡意,有的嘗試破解你的謝意,量的時(shí)候其實(shí)是挺多的。

這張圖實(shí)際上來自我們金山云團(tuán)隊(duì)內(nèi)部的技術(shù)培訓(xùn),當(dāng)然畫到這張圖,當(dāng)時(shí)想到一個(gè)東西,12306.CN,事實(shí)上,不管多龐大,多么復(fù)雜的系統(tǒng),其實(shí)解決方法只有一條,把它拆分,拆分成最小的力度,每個(gè)力度保自己的穩(wěn)定性,再看業(yè)務(wù)的需求,如果對(duì)持續(xù)要求非常高,就用同步模型,配置加大一點(diǎn),如果要求不高,就有異步。到這步基本上已經(jīng)能夠適應(yīng)所有的網(wǎng)絡(luò)服務(wù)需求,包括架構(gòu)模型,實(shí)際上大家都殊途同歸。

我在這上面做了頁面編號(hào),這個(gè)時(shí)候我們做的是云存儲(chǔ)服務(wù),剛才提的東西跟存儲(chǔ)沒什么相關(guān)的,確實(shí)是最開始很長一段時(shí)間,9和A之間是云存儲(chǔ)和其他的互聯(lián)網(wǎng)業(yè)務(wù)的分水嶺,這個(gè)時(shí)候要考慮開始引入存儲(chǔ)。說實(shí)話,對(duì)于所有公司來說,如果要進(jìn)入云存儲(chǔ)領(lǐng)域,最合適的起步方式是去買一個(gè)專門的存儲(chǔ)設(shè)備,這點(diǎn)說起來一點(diǎn)不丟臉,因?yàn)檫@樣會(huì)省掉你很多的事情,讓你的業(yè)務(wù)變得敏捷,專用的存儲(chǔ)設(shè)備,這個(gè)地方寫著傳統(tǒng)的是千兆網(wǎng),這個(gè)還有其他的設(shè)備便宜一些,雖然說單位成本與我們的方案來說肯定要高很多,但關(guān)鍵問題是從零開始做一個(gè)云存儲(chǔ)的方案,技術(shù)難度非常得大。

另外一個(gè)選擇方案,就是去應(yīng)用開源,業(yè)界用得最多的還是Hodoop,如果我自己推薦,不會(huì)推薦Hodoop,不適合于金山快盤,因?yàn)橄馧ame Node,甚至開源方案會(huì)選擇發(fā)射的DFS,TFS不適合做快盤業(yè)務(wù)。Hodoop兩結(jié)構(gòu),一個(gè)是NameNode。再往上走一點(diǎn),我們業(yè)務(wù)里面做一個(gè)相冊(cè),它的文件冷熱數(shù)據(jù)呈現(xiàn)比較高的情況,到這塊說實(shí)話,去年開玩笑,現(xiàn)在國內(nèi)百盤大戰(zhàn),我們到目前為止快盤是領(lǐng)先的狀態(tài),包括隔壁展廳WPS老朋友,許世偉同學(xué)他們也在做。其中這100個(gè)里面有95個(gè)都是采用買一個(gè)存儲(chǔ)設(shè)備或者搭一個(gè)Hodoop,我見過一個(gè)最牛的團(tuán)隊(duì)是上海韓竹同學(xué),一個(gè)人加兩個(gè)學(xué)生,三個(gè)人在那兒做,不過他現(xiàn)在拉的融資不做那個(gè)了,那個(gè)已經(jīng)停了。

到現(xiàn)在為止,我們剛才已經(jīng)演進(jìn)了12版,對(duì)于大型的互聯(lián)網(wǎng)服務(wù),到那個(gè)階段了呢?這個(gè)地方給大家分享它在互聯(lián)網(wǎng)服務(wù)的第一階段,快速應(yīng)對(duì)不斷增加的服務(wù)壓力,從1到C12個(gè)演進(jìn)方案,非常可行,很多互聯(lián)網(wǎng)走過來的,可以直接用,在一個(gè)星期完成從這一步到下一步的演進(jìn)。第二個(gè)是服務(wù)端的穩(wěn)定性不斷提高,最開始是單服務(wù)器架構(gòu),很多都放在一臺(tái)服務(wù)器,這個(gè)時(shí)候服務(wù)器穩(wěn)定性可想而知,隨著后面的拆分表,不斷的做冗余服務(wù)器穩(wěn)定性達(dá)到比較高的程度。其實(shí)做云之后,我們之前做Office的時(shí)候,那還是2008年初,我們給自己定的目標(biāo)也很高,服務(wù)穩(wěn)定性做到多少個(gè)9,還是做云之后跟業(yè)界不停的交流,大家都是從慢慢的減少停機(jī)時(shí)間特別維護(hù)時(shí)間,就像現(xiàn)在國內(nèi)公認(rèn)做得比較好的,淘寶、騰訊,他們也會(huì)經(jīng)常維護(hù),第一階段我們覺得這樣做挺好的,隨著用戶量不斷的往上走,第一階段是驗(yàn)證業(yè)務(wù)本身可行。第二階段最主要的是,我如何在比較復(fù)雜的系統(tǒng),比較大的系統(tǒng)里面既能夠玻璃穩(wěn)定性,又能夠保證業(yè)務(wù)敏捷性,因?yàn)橐匦滦薷奈业姆⻊?wù),這個(gè)時(shí)候自動(dòng)化的運(yùn)維系統(tǒng)和中間件的開發(fā)就比較重要了。

第三階段國內(nèi)大部分互聯(lián)網(wǎng)公司,這個(gè)時(shí)候服務(wù)成本增加了。

第四階段大家可以看Facebook。

我們希望快盤和金山云簡化這個(gè)系統(tǒng),圖的右邊可以看到,目前已經(jīng)上線的應(yīng)用和金蝶,康佳,沒上線還很多。下面這是快盤的開放架構(gòu)的介紹,一個(gè)基礎(chǔ)架構(gòu)圖,這圖在照顧小孩的同時(shí)手繪的。下面是金山云技術(shù),因?yàn)槲覀冞@個(gè)團(tuán)隊(duì)是來自WPS技術(shù)氣氛比較強(qiáng),因?yàn)閃PS是有一個(gè)很大的系統(tǒng)架構(gòu)組,它去負(fù)責(zé)可從用框架性的技術(shù)研究,這個(gè)基礎(chǔ)架構(gòu)組兩個(gè)負(fù)責(zé)人,我和許世偉,我們做云的時(shí)候也是一樣,第一個(gè)我們希望能夠把這個(gè)基石打得很堅(jiān)定,打得比較實(shí)的基礎(chǔ),第二個(gè)希望業(yè)務(wù)快速敏捷的變化,總結(jié)來說做了五類:

第一個(gè)是云存儲(chǔ),這地方跟大家說,云存儲(chǔ)和分布式文件系統(tǒng)完全不同的兩碼事,分布式完全系統(tǒng)可以認(rèn)為只是云存儲(chǔ)里面的十幾個(gè)子系統(tǒng)的其中一個(gè),云存儲(chǔ)會(huì)解決更復(fù)雜的問題。其實(shí)在國內(nèi)做云存儲(chǔ)這個(gè)問題非常復(fù)雜,通過專線成本非常高,快盤開放系統(tǒng)給大家提供這個(gè)上面的幫助。

第二個(gè)是數(shù)據(jù)框架,基本所有互聯(lián)網(wǎng)服務(wù)遇到數(shù)據(jù)庫的問題,特別數(shù)據(jù)庫本身快速響應(yīng)的,給大家介紹技術(shù)演進(jìn)的時(shí)候,大家有沒有注意到我跳過來一個(gè)領(lǐng)域,因?yàn)槲覀兪聦?shí)上自己做了整套冷熱數(shù)據(jù),動(dòng)態(tài)擴(kuò)展一整套的框架。

第三個(gè)是虛擬化。

第四個(gè)計(jì)算框架,可以認(rèn)為是APP這樣的東西。

第五個(gè)是運(yùn)維技術(shù)。金山并沒有做盛大云的模式,我們?cè)破脚_(tái)更多的是比較傾向于支撐和快盤合作的應(yīng)用,云平臺(tái)上面就是快盤平臺(tái),openAPI,包括快盤所有終端也可以進(jìn)行合作,我畫了三個(gè)草圖,Windows、安卓的,邁克板的快盤在幾個(gè)星期之后跟大家見面。這個(gè)地方示意是個(gè)人用戶,還有企業(yè)用戶這條線,企業(yè)這條線晚一點(diǎn)推出?毂P云平臺(tái)架構(gòu)和其他不同,簡單說和大家一起共享用戶,共享用戶數(shù)據(jù)這樣的方案,更多的是產(chǎn)品,更像產(chǎn)品上的合作。

這地方剛才也介紹過,快盤API包括兩個(gè)系統(tǒng),一個(gè)是本身合作,另外一個(gè)是為很多應(yīng)外提供平臺(tái)。合作案例是剛才大家看過的墻,這個(gè)地方是關(guān)于快盤開放API,這是網(wǎng)址,申請(qǐng)一個(gè)帳號(hào),選擇SDK可以開始了,如果有云的需求直接和BD郵箱聯(lián)系即可。

在不久的將來,云計(jì)算一定會(huì)徹底走入我們的生活,有興趣入行未來前沿產(chǎn)業(yè)的朋友,可以收藏云計(jì)算,及時(shí)獲取人工智能、大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)的前沿資訊和基礎(chǔ)知識(shí),讓我們一起攜手,引領(lǐng)人工智能的未來!

標(biāo)簽: 大數(shù)據(jù) 電商 服務(wù)器 互聯(lián)網(wǎng) 互聯(lián)網(wǎng)服務(wù) 互聯(lián)網(wǎng)公司 互聯(lián)網(wǎng)業(yè)務(wù) 數(shù)據(jù)庫 網(wǎng)絡(luò) 域名 云計(jì)算

版權(quán)申明:本站文章部分自網(wǎng)絡(luò),如有侵權(quán),請(qǐng)聯(lián)系:west999com@outlook.com
特別注意:本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)!
本站所提供的圖片等素材,版權(quán)歸原作者所有,如需使用,請(qǐng)與原作者聯(lián)系。

上一篇:亞馬遜云數(shù)據(jù)中心遭雷擊 兩天無法提供服務(wù)

下一篇:美云計(jì)算電話公司融資1000萬美元