背景

在近期的項目當(dāng)中，我們?yōu)榭蛻袈涞貙嵤┝藬?shù)據(jù)資產(chǎn)平臺。隨后，在數(shù)據(jù)平臺中接入了客戶子公司的一個業(yè)務(wù)系統(tǒng)的明細(xì)數(shù)據(jù)�？蛻粝Ｍ�在我們的數(shù)據(jù)平臺上通過數(shù)據(jù)探索和數(shù)據(jù)分析，來挖掘一些業(yè)務(wù)價值和業(yè)務(wù)創(chuàng)新點。

當(dāng)我們拿到數(shù)據(jù)開始進行一些初步探索的時候，發(fā)現(xiàn)導(dǎo)入平臺的數(shù)據(jù)質(zhì)量存在一定的問題：例如一些用于數(shù)據(jù)分析的關(guān)鍵字段的值為空、一些本應(yīng)該有主從關(guān)系的數(shù)據(jù)對應(yīng)不上、數(shù)據(jù)分類混亂等。這些問題直接影響到了對業(yè)務(wù)數(shù)據(jù)的分析和價值挖掘。因此，我們決定先對這份業(yè)務(wù)數(shù)據(jù)進行一次質(zhì)量評估。如果評估的結(jié)果太差，不能做太多有價值的數(shù)據(jù)分析，那么我們的工作方向可能就需要轉(zhuǎn)變?yōu)閹椭�客戶制定整改�?shù)據(jù)質(zhì)量的計劃和方案。

數(shù)據(jù)質(zhì)量問題

什么是質(zhì)量

關(guān)于質(zhì)量是有個一個標(biāo)準(zhǔn)定義的：一組固有特性滿足明示的、通常隱含的或必須履行的需求或期望(要求)的?程度。這里面包含了兩層意思，一個是說質(zhì)量其實是一組特性，另一個是說質(zhì)量需要滿足需求或期望。所以如果從數(shù)據(jù)分析的角度來說數(shù)據(jù)質(zhì)量，就是看當(dāng)前數(shù)據(jù)的特性能否滿足我們做數(shù)據(jù)分析或挖掘這個需求。

質(zhì)量問題的來源

數(shù)據(jù)問題的來源可能產(chǎn)生于從數(shù)據(jù)源頭到數(shù)據(jù)存儲介質(zhì)的各個環(huán)節(jié)。在數(shù)據(jù)采集階段，數(shù)據(jù)的真實性、準(zhǔn)確性、完整性、時效性都會影響數(shù)據(jù)質(zhì)量。除此之外，數(shù)據(jù)的加工、存儲過程都有可能涉及對原始數(shù)據(jù)的修改，從而引發(fā)數(shù)據(jù)的質(zhì)量問題。所以，技術(shù)、流程、管理等多方面的因素都有可能會影響到數(shù)據(jù)質(zhì)量。

在企業(yè)中，隨著企業(yè)業(yè)務(wù)的增長，數(shù)據(jù)也是一個增量積累的過程。隨著數(shù)據(jù)類型、數(shù)據(jù)來源的不斷豐富以及數(shù)據(jù)數(shù)量的快速增長，企業(yè)在數(shù)據(jù)管理工作和數(shù)據(jù)流程中面臨越來越多的數(shù)據(jù)質(zhì)量問題。而且數(shù)據(jù)質(zhì)量的管理并沒有被企業(yè)重視起來，其根本原因還是ROI并沒有那么明顯。

數(shù)據(jù)質(zhì)量管理相對來說成本比較高。因為它涉及到企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)的制定、規(guī)范的落地、生命周期的管理等多個環(huán)節(jié)。從收益上來說，數(shù)據(jù)質(zhì)量的效益和結(jié)果并不是十分明顯，大部分企業(yè)不會把數(shù)據(jù)質(zhì)量作為KPI。在企業(yè)的不同系統(tǒng)中，業(yè)務(wù)領(lǐng)域的關(guān)鍵指標(biāo)不一致，數(shù)據(jù)無法共享導(dǎo)致出現(xiàn)數(shù)據(jù)孤島，大量數(shù)據(jù)無法關(guān)聯(lián)，并且有明顯的數(shù)據(jù)冗余等問題，還有數(shù)據(jù)的維護需要投入大量的人員、時間、軟硬件成本。所以數(shù)據(jù)的質(zhì)量管理往往被會邊緣化甚至趨向于無。

數(shù)據(jù)質(zhì)量評估

那么我們?nèi)绾螌σ环輸?shù)據(jù)進行質(zhì)量評估呢?這是一個比較難以回答的問題。因為數(shù)據(jù)質(zhì)量本身有這么幾個問題。首先是數(shù)據(jù)質(zhì)量定義不一致，人們對數(shù)據(jù)質(zhì)量的理解并沒有一個參考標(biāo)準(zhǔn)或者標(biāo)準(zhǔn)的定義，所以人們理解的數(shù)據(jù)質(zhì)量就會呈現(xiàn)出多樣性，而無論是數(shù)據(jù)評估體系還是數(shù)據(jù)質(zhì)量控制體系，都離不開關(guān)于數(shù)據(jù)質(zhì)量的清晰定義。其次，沒有權(quán)威性的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)模型或參考模型。再者，沒有系統(tǒng)化的數(shù)據(jù)質(zhì)量評估指標(biāo)，也沒有對數(shù)據(jù)質(zhì)量評估的指標(biāo)形成一個量化的標(biāo)準(zhǔn)。所以現(xiàn)在多數(shù)對于數(shù)據(jù)質(zhì)量的研究都是針對特定領(lǐng)域或特定問題的研究，并不具有普適性，很難推廣成為標(biāo)準(zhǔn)化的體系或模型。

那我們能不能像CMMI(能力成熟度模型， Capability Maturity Model Integration)和 AMM(敏捷成熟度模型，Agile Maturity Model)一樣對數(shù)據(jù)質(zhì)量建立一個模型，我們暫且稱之為DQAM(數(shù)據(jù)質(zhì)量評估模型，Data Quality Assessment Model)。

首先思考一下，在進行數(shù)據(jù)質(zhì)量評估時我們會選取多個指標(biāo)，所以很自然會想到借用一下模糊綜合評價理論。搜集了一下資料，這里選取以下若干個指標(biāo)來作為我們的數(shù)據(jù)質(zhì)量評價指標(biāo)(當(dāng)然，可以根據(jù)實際需要選取其他指標(biāo)，指標(biāo)的數(shù)量也可多可少)：

Completeness：完整性，用于度量哪些數(shù)據(jù)丟失了或者哪些數(shù)據(jù)不可用

Conformity：規(guī)范性，用于度量哪些數(shù)據(jù)未按統(tǒng)一格式存儲

Consistency：一致性，用于度量哪些數(shù)據(jù)的值在信息含義上是沖突的

Accuracy：準(zhǔn)確性，用于度量哪些數(shù)據(jù)和信息是不正確的，或者數(shù)據(jù)是超期的

Uniqueness：唯一性，用于度量哪些數(shù)據(jù)是重復(fù)數(shù)據(jù)或者數(shù)據(jù)的哪些屬性是重復(fù)的

Integration：關(guān)聯(lián)性，用于度量哪些關(guān)聯(lián)的數(shù)據(jù)缺失或者未建立索引

那么評估模型應(yīng)該有這么幾個要素：

Dataset：被評估的數(shù)據(jù)集，對于關(guān)系型數(shù)據(jù)庫來說就是一張表

Indicators：評估指標(biāo)，就是上面列出來的6個指標(biāo)

Rule：評估規(guī)則，與上面的評估指標(biāo)對應(yīng)，后續(xù)會根據(jù)規(guī)則的描述來編寫腳本。

Weight：權(quán)重，此處的權(quán)重是每一條評估規(guī)則在全部規(guī)則的所占比重

Expectation：期望，根據(jù)每個評估規(guī)則給出一個評估前的期望值(0-100)

Score：結(jié)果，每個評估規(guī)則應(yīng)用到數(shù)據(jù)集后計算出來的結(jié)果值(0-100)

那么構(gòu)造整個模型的過程基本就可以確定下來，首先根據(jù)需要選取數(shù)據(jù)集當(dāng)中要進行評估的數(shù)據(jù)視圖，再選取所需要的評估指標(biāo)。下一步需要制定規(guī)則集，根據(jù)所選的評估指標(biāo)來制定相應(yīng)的數(shù)據(jù)質(zhì)量評估規(guī)則，并確定它們相應(yīng)的權(quán)值和期望值。最后一步就是根據(jù)規(guī)則集來計算結(jié)果得分。

對于數(shù)據(jù)集的N個規(guī)則計算出來的得分，最后計算其加權(quán)平均值，得到質(zhì)量評估的絕對量化值。用該量化值和期望進行差值比較，可以得出該數(shù)據(jù)集是比預(yù)期的好，還是不如預(yù)期。

以上是一個簡單的評估模型，目前并沒有在實際的場景中應(yīng)用，當(dāng)然這個模型的精度并不會很高，也沒有處理誤差。僅僅提供一個思路，或許質(zhì)量的評估可以朝著這個方向來進行。

數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)工作流質(zhì)量管理

下面來談?wù)剶?shù)據(jù)質(zhì)量管理。質(zhì)量管理前面提到了，涉及到數(shù)據(jù)工作流的各個環(huán)節(jié)。數(shù)據(jù)的工作流可以分為以下幾部分：數(shù)據(jù)產(chǎn)生、加工處理、存儲、挖掘和應(yīng)用。質(zhì)量管理的前提是在每一個環(huán)節(jié)建立質(zhì)量標(biāo)準(zhǔn)。數(shù)據(jù)的來源包括：業(yè)務(wù)系統(tǒng)產(chǎn)生的數(shù)據(jù)、外部系統(tǒng)的數(shù)據(jù)、手動錄入的數(shù)據(jù)等，從這些源頭采集數(shù)據(jù)，然后經(jīng)過數(shù)據(jù)通道進行加工處理(ETL，Extract-Transform-Load)，數(shù)據(jù)進入到數(shù)據(jù)倉庫或數(shù)據(jù)集市當(dāng)中。然后業(yè)務(wù)人員、數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師等，會在數(shù)據(jù)平臺對數(shù)據(jù)進行探索和挖掘，這個過程可能發(fā)生在數(shù)據(jù)倉庫，也可能是在數(shù)據(jù)沙箱中進行，最后對數(shù)據(jù)探索分析挖掘的產(chǎn)出結(jié)果，會以數(shù)據(jù)應(yīng)用的方式發(fā)布出來，具體的形式包括：數(shù)據(jù)報表、數(shù)據(jù)門戶、OLAP、數(shù)據(jù)產(chǎn)品、數(shù)據(jù)服務(wù)、智能模型等等。

數(shù)據(jù)質(zhì)量監(jiān)督

除了制定質(zhì)量標(biāo)準(zhǔn)外，還需要對系統(tǒng)中的數(shù)據(jù)本身和數(shù)據(jù)工作流進行監(jiān)督管理。

對數(shù)據(jù)系統(tǒng)進行實時監(jiān)控，監(jiān)測數(shù)據(jù)工作環(huán)境的服務(wù)器軟硬件運行狀態(tài)、性能、磁盤空間、數(shù)據(jù)庫事務(wù)、鎖、緩沖、會話量、備份等等一系列指標(biāo)，實施預(yù)警機制，并監(jiān)測一些異常情況的發(fā)生。

對數(shù)據(jù)進行定期校驗，除了對數(shù)據(jù)系統(tǒng)進行實施監(jiān)控外，還需要對數(shù)據(jù)進行校驗：日常校驗、數(shù)據(jù)抽檢、全面校驗等。

審核制度也是保證質(zhì)量的一個重要措施，特別是對于敏感數(shù)據(jù)和敏感操作。建立數(shù)據(jù)變更時候的分級審核制度，尤其是一些影響較大或者權(quán)限較高的操作。建立審批制度，對于數(shù)據(jù)的讀取，如果涉及到敏感數(shù)據(jù)，必要時，也需要數(shù)據(jù)審批或者是數(shù)據(jù)脫敏。

數(shù)據(jù)生命周期管理

數(shù)據(jù)的生命周期從數(shù)據(jù)規(guī)劃開始，中間是一個包括產(chǎn)生、處理、部署、應(yīng)用、監(jiān)控、存檔、銷毀這幾個步驟并不斷循環(huán)的過程。隨著業(yè)務(wù)的發(fā)展，系統(tǒng)的業(yè)務(wù)數(shù)據(jù)類型和業(yè)務(wù)規(guī)范不斷變化，一個完備的數(shù)據(jù)生命周期管理方案還應(yīng)當(dāng)包括對系統(tǒng)的優(yōu)化調(diào)整，根據(jù)業(yè)務(wù)系統(tǒng)實際運行情況、新的業(yè)務(wù)類型和規(guī)范、技術(shù)改進等調(diào)整原有的數(shù)據(jù)存儲遷移策略和訪問方式，以滿足業(yè)務(wù)系統(tǒng)發(fā)展及新的業(yè)務(wù)規(guī)范需求。數(shù)據(jù)生命周期管理的目的是對不同階段的數(shù)據(jù)采取不同的管理策略用來降低數(shù)據(jù)管理運營成本，并提高數(shù)據(jù)質(zhì)量度，實現(xiàn)數(shù)據(jù)價值最大化的終極目的。

總結(jié)

數(shù)據(jù)質(zhì)量在任何系統(tǒng)當(dāng)中都是十分重要卻容易被忽視的一部分。構(gòu)建完整的數(shù)據(jù)質(zhì)量管理體系，既是支持企業(yè)系統(tǒng)穩(wěn)定運行的基本保障，同時也是企業(yè)進行數(shù)字化轉(zhuǎn)型、創(chuàng)新的必備條件。

標(biāo)簽： 服務(wù)器 腳本 權(quán)限 數(shù)據(jù)分析 數(shù)據(jù)庫 推廣 轉(zhuǎn)型

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。