ETL數(shù)據(jù)增量抽取方案內(nèi)容節(jié)選

ETL 簡介
數(shù)據(jù)集成是把不同來源、格式和特點的數(shù)據(jù)在邏輯上或物理上有機地集中，從而提供全面的數(shù)據(jù)共享，是企業(yè)商務(wù)智能、數(shù)據(jù)倉庫系統(tǒng)的重要組成部分。ETL 是企業(yè)數(shù)據(jù)集成的主要解決方案。

隨著信息化建設(shè)的發(fā)展，巨大的投資為公安行業(yè)建立了眾多的信息系統(tǒng)，以幫助公安進行內(nèi)外部業(yè)務(wù)的處理和管理工作，但是隨著信息系統(tǒng)的增加，各自孤立工作的信息系統(tǒng)將會造成大量的冗余數(shù)據(jù)和業(yè)務(wù)人員的重復(fù)勞動。數(shù)據(jù)集成是公安應(yīng)用集成的重要環(huán)節(jié)，實現(xiàn)數(shù)據(jù)集成，可以使更多的人更充分地使用已有數(shù)據(jù)資源，減少資料收集、數(shù)據(jù)采集等重復(fù)勞動和相應(yīng)費用。

但是，在實施數(shù)據(jù)集成的過程中，由于不同用戶提供的數(shù)據(jù)可能來自不同的途徑，其數(shù)據(jù)內(nèi)容、數(shù)據(jù)格式和數(shù)據(jù)質(zhì)量千差萬別，有時甚至?xí)龅綌?shù)據(jù)格式不能轉(zhuǎn)換或數(shù)據(jù)轉(zhuǎn)換格式后丟失信息等棘手問題，嚴(yán)重阻礙了數(shù)據(jù)在各部門和各應(yīng)用系統(tǒng)中的流動與共享。因此，如何對數(shù)據(jù)進行有效的集成管理已成為增強公安戰(zhàn)斗力的必然選擇。ETL 是實現(xiàn)數(shù)據(jù)集成的主要技術(shù)。

ETL 中三個字母分別代表的是Extract、Transform、Load，即抽取、轉(zhuǎn)換、加載。

（1）數(shù)據(jù)抽?。簭脑磾?shù)據(jù)源系統(tǒng)抽取目的數(shù)據(jù)源系統(tǒng)需要的數(shù)據(jù)；

（2）數(shù)據(jù)轉(zhuǎn)換：將從源數(shù)據(jù)源獲取的數(shù)據(jù)按照業(yè)務(wù)需求，轉(zhuǎn)換成目的數(shù)據(jù)源要求的形式，并對錯誤、不一致的數(shù)據(jù)進行清洗和加工；

（3）數(shù)據(jù)加載：將轉(zhuǎn)換后的數(shù)據(jù)裝載到目的數(shù)據(jù)源。ETL 作為構(gòu)建數(shù)據(jù)倉庫的一個環(huán)節(jié)，負責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎(chǔ)?，F(xiàn)在越來越多地將ETL 應(yīng)用于一般信息系統(tǒng)數(shù)據(jù)的遷移、交換和同步。