非結(jié)構(gòu)化數(shù)據(jù)、大數(shù)據(jù)、云存儲(chǔ)已經(jīng)毫無爭(zhēng)議地成為了信息技術(shù)發(fā)展趨勢(shì)和熱點(diǎn)，分布式文件系統(tǒng)作為核心基礎(chǔ)被推到了浪潮之巔，廣泛被工業(yè)界和學(xué)術(shù)界熱推�，F(xiàn)代分布式文件系統(tǒng)普遍具有高性能、高擴(kuò)展、高可用、高效能、易使用、易管理等特點(diǎn)，架構(gòu)設(shè)計(jì)的復(fù)雜性使得系統(tǒng)測(cè)試也非常復(fù)雜。從商業(yè)產(chǎn)品ISILON, IBRIX, SONAS, Filestore, NetApp GX, Panasas, StorNext, BWFS, Loongestor，到開源系統(tǒng)Lustre, Glusterfs, Moosefs，如何對(duì)這些分布式文件系統(tǒng)進(jìn)行測(cè)試評(píng)估并選擇最適合數(shù)據(jù)應(yīng)用的產(chǎn)品系統(tǒng)呢？這里從功能測(cè)試和非功能測(cè)試兩個(gè)方面，簡(jiǎn)要地介紹分布式文件系統(tǒng)的測(cè)試方法，并對(duì)主要測(cè)試工具進(jìn)行簡(jiǎn)要說明，為產(chǎn)品選型或產(chǎn)品研發(fā)提供依據(jù)。

文件系統(tǒng)功能主要涉及系統(tǒng)實(shí)現(xiàn)的POSIX API，包括文件讀取與訪問控制、元數(shù)據(jù)操作、鎖操作等功能與API。文件系統(tǒng)的POSIX語義不同，實(shí)現(xiàn)的文件系統(tǒng)API也不同，功能測(cè)試要能覆蓋到文件系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)的API和功能點(diǎn)。功能測(cè)試工作量大，應(yīng)該重點(diǎn)考慮應(yīng)用自動(dòng)化測(cè)試方法進(jìn)行，同時(shí)結(jié)合adhoc手動(dòng)測(cè)試進(jìn)行補(bǔ)充，自動(dòng)化測(cè)試工具可以采用LTP、fstest和locktests。

（2.1）數(shù)據(jù)一致性測(cè)試（手動(dòng)＋自動(dòng)化）

這里的數(shù)據(jù)一致性是指，文件系統(tǒng)中的數(shù)據(jù)與從外部寫入前的數(shù)據(jù)保持一致，即寫入數(shù)據(jù)與讀出數(shù)據(jù)始終是一致的。數(shù)據(jù)一致性，能夠表明文件系統(tǒng)可以保證數(shù)據(jù)的完整性，不會(huì)導(dǎo)致數(shù)據(jù)丟失或數(shù)據(jù)錯(cuò)誤，這是文件系統(tǒng)最基本的功能。這部分測(cè)試可以應(yīng)用diff, md5sum編寫腳本進(jìn)行自動(dòng)化測(cè)試，LTP也提供了數(shù)據(jù)一致性的測(cè)試工具。另外，我們也可以進(jìn)行Adhoc手動(dòng)測(cè)試，比如編譯軟件源碼、linux kernel來驗(yàn)證數(shù)據(jù)的完整性。

POSIX (Portable Operating System Interface)，表示可移植操作系統(tǒng)接口，由IEEE開發(fā)并由ANSI和ISO標(biāo)準(zhǔn)化。POSIX目的在于提高應(yīng)用程序在各種OS之間的可移植性，符合POSIX標(biāo)準(zhǔn)的應(yīng)用程序可以通過重新編譯后運(yùn)行于任何符合POSIX標(biāo)準(zhǔn)的OS上。POSIX的本質(zhì)是接口，Linux是符合POSIX標(biāo)準(zhǔn)的，VFS也要符合POSIX標(biāo)準(zhǔn)。因此，文件系統(tǒng)只要滿足VFS，就可以說符合POSIX標(biāo)準(zhǔn)，就具備了良好的可移植性、通用性和互操作性。文件系統(tǒng)POSIX兼容性測(cè)試采用 LTP (Linux Test Project)和PCTS (Posix Complicance Testing Suite)進(jìn)行自動(dòng)化測(cè)試，支持Linux90, Linux96, UNIX98 POSIX標(biāo)準(zhǔn)測(cè)試。

目前的分布式文件通常都具備Scale-out的特點(diǎn)，能夠構(gòu)建大規(guī)模、高性能的文件系統(tǒng)集群。針對(duì)不同應(yīng)用和解決方案，文件系統(tǒng)部署方式會(huì)有顯著不同。部署方式測(cè)試需要測(cè)試不同場(chǎng)景下的系統(tǒng)部署方式，包括自動(dòng)安裝配置、集群規(guī)模、硬件配置（服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)）、自動(dòng)負(fù)載均衡、高可用HA等。這部分測(cè)試不大可能進(jìn)行自動(dòng)化測(cè)試，需要根據(jù)應(yīng)用場(chǎng)景來設(shè)計(jì)解決方案和具體部署，然后手動(dòng)進(jìn)行測(cè)試。

高可用性已經(jīng)是分布文件系統(tǒng)不可或缺的特性之一，從而保證數(shù)據(jù)應(yīng)用業(yè)務(wù)的連續(xù)性。分布式文件系統(tǒng)可用性主要包括元數(shù)據(jù)服務(wù)MDS和數(shù)據(jù)兩部分，元數(shù)據(jù)服務(wù)MDS高可用性通常采用Failover機(jī)制或MDS集群，數(shù)據(jù)可用性主要包括Replication、Self-heal、網(wǎng)絡(luò)簇RAID、糾刪碼等機(jī)制。文件系統(tǒng)高可用性對(duì)很多應(yīng)用非常關(guān)鍵，需要嚴(yán)格進(jìn)行測(cè)試和驗(yàn)證，這部分測(cè)試以手動(dòng)方式進(jìn)行。

NIST給出的云計(jì)算權(quán)威定義：按需的自我服務(wù)，廣泛的網(wǎng)絡(luò)訪問，資源池，快速的彈性能力，可度量的服務(wù)。云存儲(chǔ)是云計(jì)算的一種形式，分布式文件系統(tǒng)又是云存儲(chǔ)的基礎(chǔ)，因此彈性擴(kuò)展能力對(duì)于云計(jì)算時(shí)代的文件系統(tǒng)尤為重要。文件系統(tǒng)擴(kuò)展性測(cè)試，主要包括測(cè)試系統(tǒng)的彈性擴(kuò)展能力（擴(kuò)展與回縮兩方面），以及擴(kuò)展系統(tǒng)帶來的性能影響，驗(yàn)證是否具有線性擴(kuò)展能力。這部分測(cè)試也是以手動(dòng)方式進(jìn)行。

分布式文件系統(tǒng)一旦上線運(yùn)行，通常都是不間斷長(zhǎng)期運(yùn)行，穩(wěn)定性的重要性不言而喻。穩(wěn)定性測(cè)試主要驗(yàn)證系統(tǒng)在長(zhǎng)時(shí)間（7/30/180/365x24）運(yùn)行下，系統(tǒng)是否仍然能夠正常運(yùn)行、功能是否正常。穩(wěn)定性測(cè)試通常采用自動(dòng)化方式進(jìn)行，可以采用LTP、Iozone、Postmark、fio等工具對(duì)測(cè)試系統(tǒng)產(chǎn)生負(fù)載，同時(shí)使用功能測(cè)試方法驗(yàn)證功能的正確性。

分布式文件系統(tǒng)的負(fù)載能力總是存在上限的，當(dāng)系統(tǒng)過載時(shí)，系統(tǒng)就有可能出現(xiàn)性能下降、功能異常、拒絕訪問等問題。壓力測(cè)試就是要驗(yàn)證系統(tǒng)在大壓力下，包括數(shù)據(jù)多客戶端、高OPS壓力、高IOPS/吞吐量壓力，系統(tǒng)是否仍然能夠正常運(yùn)行、功能是否正常、系統(tǒng)資源消耗情況，從而為生產(chǎn)運(yùn)營提供依據(jù)。壓力測(cè)試采用自動(dòng)化方式進(jìn)行，使用LTP、Iozone、Postmark、fio對(duì)系統(tǒng)進(jìn)行持續(xù)增加壓力，同時(shí)使用功能測(cè)試方法驗(yàn)證功能正確性，并采用top, iostat, sar, ganglia等工具對(duì)系統(tǒng)資源進(jìn)行監(jiān)控。

性能是評(píng)估一個(gè)分布式文件系統(tǒng)的最為關(guān)鍵的維度，根據(jù)文件系統(tǒng)在不同場(chǎng)景下的性能表現(xiàn)，可以判斷文件系統(tǒng)是否適合特定的應(yīng)用場(chǎng)景，并為系統(tǒng)性能調(diào)優(yōu)提供依據(jù)。文件系統(tǒng)性能主要包括IOPS、OPS、吞吐量三個(gè)指標(biāo)，分別表示小文件、元數(shù)據(jù)、大數(shù)據(jù)的處理能力。性能測(cè)試采用自動(dòng)化方式進(jìn)行，測(cè)試系統(tǒng)在不同負(fù)載情況下的性能，主要包括小文件、大文件、海量目錄、email server、fileserver、videoserver、webserver等應(yīng)用下的OPS、IOPS、吞吐量，產(chǎn)生IO負(fù)載的工具可采用Iozone、Postmark、Fio、filebench等。

(1) LTP (http://ltp.sourceforge.net/)

LTP(Linux Test Project)是由SGI和IBM聯(lián)合發(fā)起的項(xiàng)目，提供一套驗(yàn)證Linux系統(tǒng)可靠性、健壯性、穩(wěn)定性的測(cè)試套件，也可用來進(jìn)行POSIX兼容測(cè)試和功能性測(cè)試。LTP提供了2000多個(gè)測(cè)試工具，可以根據(jù)需要自行進(jìn)行定制。同時(shí)，LTP還是一個(gè)優(yōu)秀的自動(dòng)化測(cè)試框架，基于它通過設(shè)計(jì)測(cè)試用例和測(cè)試工具可以實(shí)現(xiàn)更多功能的測(cè)試自動(dòng)化。

(2) fstest (http://www.tuxera.com/community/posix-test-suite/)

fstest是一套簡(jiǎn)化版的文件系統(tǒng)POSIX兼容性測(cè)試套件，它可以工作在FreeBSD, Solaris, Linux上用于測(cè)試UFS, ZFS, ext3, XFS and the NTFS-3G等文件系統(tǒng)。fstest目前有3601個(gè)回歸測(cè)試用例，測(cè)試的系統(tǒng)調(diào)用覆蓋chmod, chown, link, mkdir, mkfifo, open, rename, rmdir, symlink, truncate, unlink。

(3) locktests (http://nfsv4.bullopensource.org/tools/tests/locktest.php)

locktest用于fcntl鎖功能的壓力測(cè)試。運(yùn)行時(shí)，主進(jìn)程先在指定文件區(qū)域設(shè)置字節(jié)范圍的記錄鎖，然后多個(gè)從進(jìn)程嘗試在該文件區(qū)域執(zhí)行read, write, 加新鎖操作。這些操作結(jié)果是可預(yù)期的（矩陣如下），如果操作結(jié)果與預(yù)期一致則測(cè)試通過，否則測(cè)試失敗。

(4) PCTS (http://www.opengroup.org/testing/linux-test/lsb-vsx.html)

PCTS(Posix Complicance Testing Suite)，POSIX一致性測(cè)試套件，是從POSIX標(biāo)準(zhǔn)出發(fā)，通過嚴(yán)格的、定量地測(cè)試，以驗(yàn)證、評(píng)價(jià)、認(rèn)證操作系統(tǒng)符合POSIX標(biāo)準(zhǔn)的程序的測(cè)試軟件。IEEE std2003.1是PCTS的設(shè)計(jì)標(biāo)準(zhǔn)，常見的PCTS主要有VSX-PCTS、NIST-PCTS、OPTS-PCTS三種實(shí)現(xiàn)，上面提供的連接為VSX-PCTS。

(5) Iozone (http://www.iozone.org)

Iozone是目前應(yīng)用非常廣泛的文件系統(tǒng)測(cè)試標(biāo)準(zhǔn)工具，它能夠產(chǎn)生并測(cè)量各種的操作性能，包括read, write, re-read, re-write, read backwards, read strided, fread, fwrite, random read, pread ,mmap, aio_read, aio_write等操作。Iozone目前已經(jīng)被移植到各種體系結(jié)構(gòu)計(jì)算機(jī)和操作系統(tǒng)上，廣泛用于文件系統(tǒng)性能測(cè)試、分析與評(píng)估的標(biāo)準(zhǔn)工具。

(6) Postmark (http://www.gtlib.cc.gatech.edu/pub/debian/pool/main/p/postmark/)

Postmark 是由著名的 NAS 提供商 NetApp 開發(fā)，用來測(cè)試其產(chǎn)品的后端存儲(chǔ)性能。Postmark主要用于測(cè)試文件系統(tǒng)在郵件系統(tǒng)或電子商務(wù)系統(tǒng)中性能，這類應(yīng)用的特點(diǎn)是：需要頻繁、大量地存取小文件。 Postmark 的測(cè)試原理是創(chuàng)建一個(gè)測(cè)試文件池。文件的數(shù)量和最大、最小長(zhǎng)度可以設(shè)定，數(shù)據(jù)總量是一定的。創(chuàng)建完成后， Postmark 對(duì)文件池進(jìn)行一系列的事務(wù)（ transaction ）操作，根據(jù)從實(shí)際應(yīng)用中統(tǒng)計(jì)的結(jié)果，設(shè)定每一個(gè)事務(wù)包括一次創(chuàng)建或刪除操作和一次讀或添加操作，在有些情況下，文件系統(tǒng)的緩存策略可能對(duì)性能造成影響， Postmark 可以通過對(duì)創(chuàng)建 / 刪除以及讀 / 添加操作的比例進(jìn)行修改來抵消這種影響。事務(wù)操作進(jìn)行完畢后， Post 對(duì)文件池進(jìn)行刪除操作，并結(jié)束測(cè)試，輸出結(jié)果。 Postmark是用隨機(jī)數(shù)來產(chǎn)生所操作文件的序號(hào)，從而使測(cè)試更加貼近于現(xiàn)實(shí)應(yīng)用。輸出結(jié)果中比較重要的輸出數(shù)據(jù)包括測(cè)試總時(shí)間、每秒鐘平均完成的事務(wù)數(shù)、在事務(wù)處理中平均每秒創(chuàng)建和刪除的文件數(shù)，以及讀和寫的平均傳輸速度。

(7) fio (http://freshmeat.net/projects/fio/)

fio是一個(gè)I/O標(biāo)準(zhǔn)測(cè)試和硬件壓力驗(yàn)證工具，它支持13種不同類型的I/O引擎（sync, mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio等），I/O priorities (for newer Linux kernels), rate I/O, forked or threaded jobs等等。fio可以支持塊設(shè)備和文件系統(tǒng)測(cè)試，廣泛用于標(biāo)準(zhǔn)測(cè)試、QA、驗(yàn)證測(cè)試等，支持Linux, FreeBSD, NetBSD, OS X, OpenSolaris, AIX, HP-UX, Windows等操作系統(tǒng)。

(8) filebench (http://filebench.sourceforge.net/)

Filebench 是一款文件系統(tǒng)性能的自動(dòng)化測(cè)試工具，它通過快速模擬真實(shí)應(yīng)用服務(wù)器的負(fù)載來測(cè)試文件系統(tǒng)的性能。它不僅可以仿真文件系統(tǒng)微操作（如 copyfiles, createfiles, randomread, randomwrite ），而且可以仿真復(fù)雜的應(yīng)用程序（如 varmail, fileserver, oltp, dss, webserver, webproxy ）。 Filebench 比較適合用來測(cè)試文件服務(wù)器性能，但同時(shí)也是一款負(fù)載自動(dòng)生成工具，也可用于文件系統(tǒng)的性能。

劉愛貴畢業(yè)于中科院，專注于存儲(chǔ)技術(shù)的研究與開發(fā)，目前從事存儲(chǔ)行業(yè)軟件研發(fā)工作。

在不久的將來，云計(jì)算一定會(huì)徹底走入我們的生活，有興趣入行未來前沿產(chǎn)業(yè)的朋友，可以收藏云計(jì)算，及時(shí)獲取人工智能、大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)的前沿資訊和基礎(chǔ)知識(shí)，讓我們一起攜手，引領(lǐng)人工智能的未來！

標(biāo)簽： linux 大數(shù)據(jù) 電子商務(wù) 電子商務(wù)系統(tǒng) 服務(wù)器 服務(wù)器性能 腳本 網(wǎng)絡(luò) 信息技術(shù) 應(yīng)用服務(wù)器 云計(jì)算

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。