本文組織：

史上較大規(guī)模公有云數(shù)據(jù)遷移
數(shù)據(jù)遷移基本場(chǎng)景原理分析
公有云數(shù)據(jù)遷移場(chǎng)景分析

1、史上較大規(guī)模公有云數(shù)據(jù)遷移

 

 

圖：最后2TB的數(shù)據(jù)遷移現(xiàn)場(chǎng)演示，從115科技服務(wù)器遷移至阿里云的“閃電立方”中，耗時(shí)2分3秒。

6月7日，國(guó)內(nèi)領(lǐng)先的云存儲(chǔ)企業(yè)115科技在2018云棲大會(huì)·上海峰會(huì)上宣布，已將公司全部數(shù)據(jù)遷移至阿里云上，雙方合力完成了互聯(lián)網(wǎng)史上規(guī)模較大的公共云數(shù)據(jù)遷移，總量超過100PB。同時(shí)，整個(gè)過程僅耗時(shí)45天，創(chuàng)造了百PB級(jí)數(shù)據(jù)公共云遷移的新紀(jì)錄，演繹了一場(chǎng)云計(jì)算的“速度與激情”。100PB的數(shù)據(jù)有多大?相當(dāng)于360億張照片，打印出來可以環(huán)繞地球200周。如果用普通辦公網(wǎng)絡(luò)上傳，要2700多年才能傳完。

在云計(jì)算普及的今天，如此大規(guī)模的上云變得更高效便捷，115科技總經(jīng)理劉睿表示：“將基礎(chǔ)設(shè)施托付給阿里云后，115科技團(tuán)隊(duì)得以集中精力，聚焦頂層設(shè)計(jì)，為用戶提供更好的產(chǎn)品體驗(yàn)和服務(wù)。”出于自身需求的綜合考量，115科技最終選擇了阿里云作為合作伙伴，共同完成這次史詩(shī)級(jí)的遷移。

2、數(shù)據(jù)遷移基本場(chǎng)景原理分析

離線遷移和在線遷移。離線遷移是最簡(jiǎn)單的場(chǎng)景，或者業(yè)務(wù)可以忍受長(zhǎng)時(shí)間停機(jī)從而將全部數(shù)據(jù)一次性整體遷移;或者業(yè)務(wù)對(duì)數(shù)據(jù)的訪問具有明顯的熱點(diǎn)，并且技術(shù)上可以將冷數(shù)據(jù)與熱數(shù)據(jù)剝離，這樣就可以將冷數(shù)據(jù)下線并遷移到目標(biāo)端。而對(duì)于那些無(wú)法停機(jī)的業(yè)務(wù)所訪問的熱數(shù)據(jù)，由于業(yè)務(wù)對(duì)這些數(shù)據(jù)會(huì)持續(xù)的變更，所以必須采用特殊方式來遷移。具體的，可以采用存儲(chǔ)層快照方式對(duì)正在被訪問的數(shù)據(jù)做一次快照，然后將快照副本拷貝到目標(biāo)端。由于快照生成之后，系統(tǒng)底層會(huì)自動(dòng)記錄快照點(diǎn)之后的數(shù)據(jù)變化，所以在數(shù)據(jù)初始同步(初始傳輸數(shù)據(jù)量較大)之后，可以采用連續(xù)多次快照來實(shí)現(xiàn)數(shù)據(jù)的追趕(每次追趕數(shù)據(jù)量越來越小)，最終達(dá)到收斂狀態(tài)，也就是同步(synchronized)態(tài)，此時(shí)業(yè)務(wù)每一筆寫I/O都會(huì)被同步到目標(biāo)端，實(shí)現(xiàn)本地、目標(biāo)雙寫態(tài)。然后開始割接過程，將業(yè)務(wù)動(dòng)態(tài)切換到目標(biāo)端，從而實(shí)現(xiàn)不停機(jī)遷移。為了截獲業(yè)務(wù)下發(fā)的寫I/O請(qǐng)求，需要在存儲(chǔ)系統(tǒng)底層并聯(lián)出對(duì)應(yīng)的I/O路徑，不過對(duì)于互聯(lián)網(wǎng)后端系統(tǒng)來講，這些旁路接口一般會(huì)被預(yù)先設(shè)計(jì)好，隨時(shí)可以將寫I/O進(jìn)行鏡像復(fù)制。在傳統(tǒng)企業(yè)存儲(chǔ)系統(tǒng)中，外置存儲(chǔ)系統(tǒng)一般都具有遠(yuǎn)程卷復(fù)制功能，但是如果要實(shí)現(xiàn)多主機(jī)/存儲(chǔ)異構(gòu)環(huán)境的統(tǒng)一數(shù)據(jù)復(fù)制、遷移，就需要將這個(gè)旁路上升到主機(jī)端OS內(nèi)核中，而除非像AIX等UNIX系統(tǒng)原生采用諸如LVM這樣的卷管理軟件，否則這個(gè)旁路默認(rèn)是不會(huì)使用的，要使用就需要加裝一個(gè)特殊驅(qū)動(dòng)程序，而這需要重啟主機(jī)導(dǎo)致業(yè)務(wù)停機(jī)若干甚至十余分鐘。

塊層遷移和上層遷移。眾所周知，上層I/O訪問有多種方式，具體可以總結(jié)為塊I/O、文件I/O、對(duì)象I/O、數(shù)據(jù)庫(kù)I/O、其他私有方式的I/O API這四大類方式。其中，文件、對(duì)象、數(shù)據(jù)庫(kù)類訪問一般是基于塊I/O的上層封裝，所以，只要在塊層截獲I/O，不管上層封裝成什么形式，都可以實(shí)現(xiàn)數(shù)據(jù)遷移，但是塊層遷移無(wú)法感知到上層的狀態(tài)，比如某單個(gè)文件I/O底層被拆分為多筆塊I/O，塊層是無(wú)法感知的，所以會(huì)導(dǎo)致數(shù)據(jù)一致性問題。但是從上層截獲寫I/O的話，效率和吞吐量比較低(因?yàn)镮/O時(shí)延較高)，但是卻可以更好的保障數(shù)據(jù)一致性。

通過網(wǎng)絡(luò)遷移和通過介質(zhì)搬運(yùn)遷移。通過網(wǎng)絡(luò)遷移數(shù)據(jù)是比較常用的方式，特別是數(shù)據(jù)量不大的時(shí)候，可以在可接受的時(shí)間內(nèi)完成遷移。但是如果數(shù)據(jù)量特別大的話，除非你擁有裸光纖鏈路從而可以在兩端放置高帶寬傳輸、DWDM等設(shè)備，否則通過帶寬較低的專線，遷移速度就無(wú)法接受了。此時(shí)需要采用介質(zhì)搬運(yùn)方式遷移，也就是現(xiàn)在業(yè)務(wù)本地將冷數(shù)據(jù)離線搬移到磁帶、光盤、硬盤JBOD等介質(zhì)中，然后直接將介質(zhì)通過物流運(yùn)輸?shù)侥繕?biāo)端導(dǎo)入。介質(zhì)搬運(yùn)方式智能運(yùn)輸離線數(shù)據(jù)。

遷移管理。數(shù)據(jù)遷移牽扯大大量的規(guī)劃和管理操作，實(shí)際的遷移過程反而是最簡(jiǎn)單的，之前的規(guī)劃、兼容性管理、突發(fā)事件處理、回退處理等才是遷移過程的復(fù)雜部分。只有身經(jīng)百戰(zhàn)的團(tuán)隊(duì)才能積累足夠經(jīng)驗(yàn)，臨危不亂，僅僅有條，能退能進(jìn)。遷移過程最怕的就是卡在中間進(jìn)退兩難。

3、阿里云~115公有云數(shù)據(jù)遷移場(chǎng)景分析

理論和實(shí)踐往往有很大的差距，一個(gè)簡(jiǎn)單的過程，具體實(shí)現(xiàn)起來那可是受各種因素影響。由于數(shù)據(jù)規(guī)模巨大，本次遷移遇到了前所未有的挑戰(zhàn)，整個(gè)遷移過程要求整體服務(wù)不停機(jī)，客戶無(wú)感知。為了保障115業(yè)務(wù)平滑遷移，阿里云將分布在不同地區(qū)的數(shù)千臺(tái)物理機(jī)內(nèi)的數(shù)據(jù)與云上的位置進(jìn)行了一一對(duì)應(yīng)的規(guī)劃，保證每一比特都有跡可循。

網(wǎng)絡(luò)資源問題。

要遷移數(shù)據(jù)，首先要打通高速通路。借助阿里云強(qiáng)大的資源調(diào)配能力，臨時(shí)調(diào)配了對(duì)應(yīng)的網(wǎng)絡(luò)資源來連通115原有數(shù)據(jù)中心和阿里云數(shù)據(jù)中心。

據(jù)悉，阿里云采用了專線互連的傳輸方式，建立邊界路由器和路由器接口來連接115的數(shù)據(jù)中心與阿里云VPC，采用400Gb/s的分布式在線數(shù)據(jù)傳輸服務(wù)OSSImport，將115的數(shù)據(jù)加密遷移到對(duì)象存儲(chǔ)OSS中。

對(duì)于115科技原有的一些無(wú)法實(shí)現(xiàn)高帶寬互聯(lián)的數(shù)據(jù)中心，不適合在線遷移的數(shù)據(jù)，阿里云推出了一種全新離線數(shù)據(jù)遷移方案——閃電立方。它長(zhǎng)得像一臺(tái)電腦主機(jī)，可防塵防水，抗震抗壓。每套閃電立方可容納480TB數(shù)據(jù)，在數(shù)據(jù)安全方面滿足企業(yè)嚴(yán)格的要求。有了閃電立方的快速離線遷移能力，115科技的上云時(shí)長(zhǎng)從預(yù)計(jì)的4個(gè)月大幅縮短到了45天。

 

 

6月初的上海云棲大會(huì)上，阿里云現(xiàn)場(chǎng)還原了用閃電立方遷移115數(shù)據(jù)中心的全過程：2分鐘內(nèi)就完成了2TB數(shù)據(jù)的安全傳輸過程，每塊硬盤專項(xiàng)分離保護(hù)，并實(shí)施專人專車的運(yùn)輸保障，讓離線傳輸同樣專業(yè)、高效、安全。

與此同時(shí)，阿里云推出了閃電立方mini版，可提供單臺(tái)40TB的數(shù)據(jù)遷移能力，圖形化界面，引導(dǎo)式服務(wù)體驗(yàn)。在數(shù)據(jù)安全方面，閃電立方mini版同樣提供端到端的數(shù)據(jù)加密服務(wù)和數(shù)據(jù)一致性校驗(yàn)。不同的是，閃電立方mini版可以自行部署，再由專業(yè)的物流運(yùn)輸至阿里云的數(shù)據(jù)中心，實(shí)現(xiàn)離線數(shù)據(jù)的快速上云。

 

 

割接影響。

為了實(shí)現(xiàn)業(yè)務(wù)平滑過渡，對(duì)于在線數(shù)據(jù)，采用跨網(wǎng)絡(luò)初始遷移+收斂同步，一直到最后一步的原有系統(tǒng)+阿里云雙活狀態(tài)，最后將業(yè)務(wù)透明割接到阿里云。這種云雙活形式很值得一些企業(yè)數(shù)據(jù)中心借鑒，一腳踩在云上，一腳踩在地上，借助云端作為對(duì)端數(shù)據(jù)中心。

快慢機(jī)問題。

在遷移過程中，有不少未落入計(jì)劃內(nèi)的突發(fā)問題。比如，115科技數(shù)據(jù)中心中存在一些服役時(shí)間很長(zhǎng)的系統(tǒng)，其內(nèi)部硬盤的響應(yīng)速度較慢，導(dǎo)致整個(gè)系統(tǒng)響應(yīng)快慢不一，這就會(huì)打亂原本的時(shí)間計(jì)劃。

遷移和恢復(fù)并行問題。

如果等待全部數(shù)據(jù)遷移完畢，再在目標(biāo)端導(dǎo)入、上線業(yè)務(wù)，則由于大批量數(shù)據(jù)的遷移，耗時(shí)非常長(zhǎng)。在系列文章《大話流水線》中，冬瓜哥詳細(xì)分析了流水線工作原理，如果將一個(gè)慢速步驟拆分成多個(gè)小步驟，就可以實(shí)現(xiàn)并行，這個(gè)過程雖然增加了時(shí)延，但是卻提升了吞吐量。本次阿里云~155數(shù)據(jù)遷移就是采用這種小批量遷移、導(dǎo)入、上線三步流水線并行工作，從而極大降低了項(xiàng)目周期。

數(shù)據(jù)一致性問題。

我們經(jīng)常會(huì)遇到從網(wǎng)絡(luò)上下載了一個(gè)壓縮包，結(jié)果打開提示錯(cuò)誤的情況，這就是數(shù)據(jù)校驗(yàn)出錯(cuò)導(dǎo)致。100PB的數(shù)據(jù)，如果不采取措施，出錯(cuò)數(shù)據(jù)的量是相當(dāng)大的。阿里云本次遷移對(duì)每個(gè)文件做端到端的SHA-1校驗(yàn)，避免出現(xiàn)數(shù)據(jù)不可用或者不一致的情況。

傳輸效率問題

在有限的帶寬和時(shí)間下，提升傳輸效率是很重要的一步。本次遷移采用源端重刪技術(shù)。同時(shí)，阿里云存儲(chǔ)研發(fā)團(tuán)隊(duì)在10天內(nèi)設(shè)計(jì)了11個(gè)功能來進(jìn)一步提升傳輸效率，包括SHA-1校驗(yàn)邊算邊傳、WORM(一寫多讀禁止覆蓋))、HEIF與矢量圖片轉(zhuǎn)換支持等特性，用于承載115科技的非結(jié)構(gòu)化數(shù)據(jù)如文檔、圖片、視頻的業(yè)務(wù)。“這是我人生中節(jié)奏最快的一個(gè)項(xiàng)目”，參與項(xiàng)目的阿里云工程師表示。

綜上所述，本次阿里云~115科技的數(shù)據(jù)大遷移，作為史上較大數(shù)據(jù)量的公有云數(shù)據(jù)遷移項(xiàng)目，再一次體現(xiàn)了阿里云的整體技術(shù)實(shí)力、資源調(diào)配能力、項(xiàng)目管理能力。擁有這樣能力的IT基礎(chǔ)設(shè)置團(tuán)隊(duì)，業(yè)務(wù)上云基本是沒有什么后顧之憂了。

標(biāo)簽： 安全 大數(shù)據(jù) 服務(wù)器 公有云 互聯(lián)網(wǎng) 數(shù)據(jù)庫(kù) 網(wǎng)絡(luò) 云計(jì)算

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。