發(fā)布時間：2023-06-06 15:56:21
序言：寫作是分享個人見解和探索未知領(lǐng)域的橋梁，我們?yōu)槟x了8篇的數(shù)據(jù)分析的方法樣本，期待這些樣本能夠為您提供豐富的參考和啟發(fā)，請盡情閱讀。
關(guān)鍵詞：大數(shù)據(jù)；數(shù)據(jù)分析；數(shù)據(jù)挖掘
中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2017）03-0104-02
1 綜述
1.1 簡介
在數(shù)字化時代，需要新一代系統(tǒng)架構(gòu)提升業(yè)務(wù)創(chuàng)新能力。在新一代系統(tǒng)架構(gòu)中，大數(shù)據(jù)是核心要素。業(yè)務(wù)應(yīng)用能否自主發(fā)現(xiàn)與自助獲得高質(zhì)量的大數(shù)據(jù)，就成為業(yè)務(wù)創(chuàng)新成敗的關(guān)鍵。這就要在搭建大數(shù)據(jù)平臺時，就著手大數(shù)據(jù)治理相關(guān)建設(shè)。
1.2 需求和意義
從某種意義上說大數(shù)據(jù)治理架構(gòu)需要以元數(shù)據(jù)為核心、提高大數(shù)據(jù)質(zhì)量、透明化大數(shù)據(jù)資產(chǎn)、自助化數(shù)據(jù)開發(fā)、自動化數(shù)據(jù)、智能化數(shù)據(jù)安全，提升大數(shù)據(jù)平臺服務(wù)能力，讓大數(shù)據(jù)平臺變得易使用、易獲得、高質(zhì)量。
但是，目前很多技術(shù)解決方案存在諸多安全和效率隱患：業(yè)務(wù)系統(tǒng)多，監(jiān)管力度大；數(shù)據(jù)量龐大且呈碎片化分布，急需提升大數(shù)據(jù)質(zhì)量；數(shù)據(jù)格式不規(guī)范、難以在短時間內(nèi)找到所需數(shù)據(jù)；數(shù)據(jù)在各階段的應(yīng)用角度不同，需要降低系統(tǒng)間的集成復(fù)雜度。
2 功能設(shè)計
2.1 總體架構(gòu)
本文講述的數(shù)據(jù)分析方法及實現(xiàn)技術(shù)是建立在Hadoop/Spark技術(shù)生態(tài)圈的基礎(chǔ)之上，以實現(xiàn)用戶集成處理、、清理、分析的一個統(tǒng)一的數(shù)據(jù)處理平臺；按數(shù)據(jù)類別分為線數(shù)據(jù)、歸檔數(shù)據(jù)；按數(shù)據(jù)格式分為非結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)；按數(shù)據(jù)模型分類為范式化模型數(shù)據(jù)、維度模型數(shù)據(jù)；按數(shù)據(jù)采集頻度分為非實時數(shù)據(jù)、準(zhǔn)實時數(shù)據(jù)處理架構(gòu)；并提供數(shù)據(jù)中心平臺與安全管理方案，為企業(yè)級用戶建立一個通用數(shù)據(jù)處理和分析中心。如圖1所示。
2.2 在線數(shù)據(jù)
在線數(shù)據(jù)在線通過接口去獲得的數(shù)據(jù)，一般要求為秒級或速度更快。首先應(yīng)當(dāng)將數(shù)據(jù)進行區(qū)分：在線數(shù)據(jù)、或歸檔數(shù)據(jù)。本平臺中采用：Storm或Spark Streaming框架進行實現(xiàn)。Spark Streaming將數(shù)據(jù)切分成片段，變成小批量時間間隔處理，Spark抽象一個持續(xù)的數(shù)據(jù)流稱為DStream（離散流），一個DStream是RDD彈性分布式數(shù)據(jù)集的micro-batch微批次，RDD是分布式集合能夠并行地被任何函數(shù)操作，也可以通過一個滑動窗口的數(shù)據(jù)進行變換。
2.3 歸檔數(shù)據(jù)
歸檔數(shù)據(jù)是在線存儲周期超過數(shù)據(jù)生命周期規(guī)劃的數(shù)據(jù)，處理的要求一般在分鐘級或速度更慢。通常歸檔數(shù)據(jù)的計算量、數(shù)據(jù)量、數(shù)據(jù)復(fù)雜度均超過試試數(shù)據(jù)處理。本平臺中采用：Hadoop、Spark技術(shù)生態(tài)體系內(nèi)的框架進行計算，這里不詳細(xì)闡述。
2.4 非結(jié)構(gòu)化數(shù)據(jù)
通常非結(jié)構(gòu)化的數(shù)據(jù)不一定具備字段，即使具備字段其長度也不固定，并且字段的又可是由可不可重復(fù)和重復(fù)的子字段組成，不僅可以包含結(jié)構(gòu)化數(shù)據(jù)，更適合處理非結(jié)構(gòu)化數(shù)據(jù)。常見的非結(jié)構(gòu)化數(shù)據(jù)包括XML、文本、圖象、聲音、影音、各類應(yīng)用軟件產(chǎn)生的文件。
針對包含文字、數(shù)據(jù)的為結(jié)構(gòu)化數(shù)據(jù)應(yīng)當(dāng)先利用數(shù)據(jù)清洗、數(shù)據(jù)治理工具進行提取，這項工作目前仍依賴技術(shù)員進行操作，由于格式的復(fù)雜性所以難以使用自動化方式進行較為高效的批處理。在治理數(shù)據(jù)的過程中，需要根據(jù)情況對數(shù)據(jù)本身額外建立描述數(shù)據(jù)結(jié)構(gòu)的元數(shù)據(jù)、以及檢索數(shù)據(jù)的索引服務(wù)，以便后續(xù)更佳深度利用數(shù)據(jù)。
2.5 結(jié)構(gòu)化數(shù)據(jù)
結(jié)構(gòu)化數(shù)據(jù)具備特定的數(shù)據(jù)結(jié)構(gòu)，通常可以轉(zhuǎn)換后最終用二維的結(jié)構(gòu)的數(shù)據(jù)，并且其字段的含義明確，是挖掘數(shù)據(jù)價值的主要對象。
本平臺中主要使用Hadoop Impala和Spark SQL來進行結(jié)構(gòu)化數(shù)據(jù)的處理。Impale底層采用C++實現(xiàn)，而非Hadoop的基于Java的Map-Reduce機制，將性能提高了1-2個數(shù)量級。而Spark SQL提供很好的性能并且與Shark、Hive兼容。提供了對結(jié)構(gòu)化數(shù)據(jù)的簡便的narrow-waist操作，為高級的數(shù)據(jù)分析統(tǒng)一了SQL結(jié)構(gòu)化查詢語言與命令式語言的混合使用。
結(jié)構(gòu)化數(shù)據(jù)根據(jù)采集頻度可以繼續(xù)分類為：非實時數(shù)據(jù)、準(zhǔn)實時數(shù)據(jù)。
2.6 準(zhǔn)實時數(shù)據(jù)
通常準(zhǔn)實時數(shù)據(jù)是指數(shù)據(jù)存儲在平臺本身，但更新頻率接近于接口調(diào)用數(shù)據(jù)源的數(shù)據(jù)。適合用于支持?jǐn)?shù)據(jù)和信息的查詢，但數(shù)據(jù)的再處理度不高，具有計算并發(fā)度高、數(shù)據(jù)規(guī)模大、結(jié)果可靠性較高的特點。通常使用分布式數(shù)據(jù)處理提高數(shù)據(jù)規(guī)模、使用內(nèi)存數(shù)據(jù)進行計算過程緩沖和優(yōu)化。本平臺主要采用Spark SQL結(jié)合高速緩存Redis的技術(shù)來實現(xiàn)。Spark SQL作為大數(shù)據(jù)的基本查詢框架，Redis作為高速緩存去緩存數(shù)據(jù)熱區(qū)，減小高并發(fā)下的系統(tǒng)負(fù)載。
2.7 非實時數(shù)據(jù)
非實時數(shù)據(jù)主要應(yīng)用于支持分析型應(yīng)用，時效性較低。通常用于數(shù)據(jù)的深度利用和挖掘，例如：因素分析、信息分類、語義網(wǎng)絡(luò)、圖計算、數(shù)值擬合等。
非實時數(shù)據(jù)根據(jù)數(shù)據(jù)模型可繼續(xù)分類為：范式化模型數(shù)據(jù)、維度模型數(shù)據(jù)。
2.8 范式化模型
范式化模型主要是針對關(guān)系型數(shù)據(jù)庫設(shè)計范式，通常稻菔遣捎玫諶范式3NF或更高范式。面向近源數(shù)據(jù)查詢、數(shù)據(jù)主題的整合。范式化模型數(shù)據(jù)的數(shù)據(jù)存儲區(qū)，建議使用并行MPP數(shù)據(jù)庫集群，既具備關(guān)系型數(shù)據(jù)庫的優(yōu)點，又兼顧了大數(shù)據(jù)下的處理。
2.9 基于維度模型
維度模型數(shù)據(jù)主要應(yīng)用于業(yè)務(wù)系統(tǒng)的數(shù)據(jù)挖掘和分析。過去多維度數(shù)據(jù)處理主要依賴OLAP、BI等中間件技術(shù)，而在大數(shù)據(jù)和開源框架的時代下，本技術(shù)平臺采用Hadoop Impala來進行實現(xiàn)。Impala并沒有使用MapReduce這種不太適合做SQL查詢的范式，而是參考了MPP并行數(shù)據(jù)庫的思想另起爐灶，省掉不必要的shuffle、sort等開銷，使運算得到優(yōu)化。
3 應(yīng)用效果
本系統(tǒng)在不同的業(yè)務(wù)領(lǐng)域上都可以應(yīng)用，以2016年在某銀行的應(yīng)用案例為例：該銀行已完成數(shù)據(jù)倉庫建設(shè)，但眾多數(shù)據(jù)質(zhì)量問題嚴(yán)重影響了數(shù)據(jù)應(yīng)用的效果，以不同的數(shù)據(jù)存儲方式，以更高的要求去進行數(shù)據(jù)的統(tǒng)一管理。通過組織、制度、流程三個方面的實施，以元數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量平臺為支撐，實現(xiàn)了數(shù)據(jù)管控在50多個分支，60個局，1000余處的全面推廣，實現(xiàn)了全行的覆蓋；管理了120個系統(tǒng)和數(shù)據(jù)倉庫，顯著提升了新系統(tǒng)的快速接入能力；通過14個數(shù)據(jù)規(guī)范和流程明確了數(shù)據(jù)管控的分工；數(shù)據(jù)考核機制的實施，使其在數(shù)據(jù)質(zhì)量評比中名列前茅。
4 結(jié)語
本文介紹了大數(shù)據(jù)下數(shù)據(jù)分析方法及實現(xiàn)技術(shù)的大體設(shè)計和思路，從需求分析、總體架構(gòu)和數(shù)據(jù)處理以及數(shù)據(jù)分析這幾個方面來介紹。文章在最后介紹出了這種平臺的應(yīng)用效果。筆者相信這些思路和技術(shù)能夠在業(yè)務(wù)中能得到很好的應(yīng)用。
參考文獻(xiàn)
一、以認(rèn)知沖突，引發(fā)學(xué)生產(chǎn)生數(shù)據(jù)收集與整理的強烈愿望
學(xué)生每一個學(xué)習(xí)行為的背后，都是有目的、有價值、有意義的。簡言之，學(xué)生自己要真正認(rèn)識到這種學(xué)習(xí)是有用的，哪怕僅僅是因為有趣、好玩，才能激發(fā)學(xué)生進行相關(guān)學(xué)習(xí)的愿望和興趣。對于數(shù)據(jù)分析觀念的培養(yǎng)，教師有必要替學(xué)生問一個“為什么”，問題不必明確提出，但一定要把相關(guān)信息告訴學(xué)生，引發(fā)學(xué)生強烈的認(rèn)知沖突，才會產(chǎn)生進行數(shù)據(jù)收集、整理與分析的欲望，才會使他們認(rèn)識到學(xué)習(xí)數(shù)據(jù)分析的必要性，產(chǎn)生興趣，從而建立與培養(yǎng)其初步的數(shù)據(jù)分析觀念。
以二年級上冊“統(tǒng)計”一課的學(xué)習(xí)為例，學(xué)生首次接觸“統(tǒng)計”的相關(guān)內(nèi)容。在學(xué)生尚不真正知道與理解該詞的確切含義的情況下，教材提供的課例是“統(tǒng)計最喜歡的動物”，以統(tǒng)計圖形式呈現(xiàn)出喜歡四種動物（小貓、小狗、小兔、烏龜）的學(xué)生的人數(shù)，并提供了3道題目，但教材始終沒有告訴學(xué)生，“為什么我要學(xué)習(xí)這個知識”、“為什么我要進行數(shù)據(jù)分析”。此時，對這一問題的提出與引導(dǎo)學(xué)生思考，只能由教師在不動聲色中完成。所以，教學(xué)時，利用學(xué)生愛吃零食的特點，我調(diào)整了教學(xué)思路，首先，我征得學(xué)生同意，打算用班上賣廢品的錢給學(xué)生買糖吃。此舉得到學(xué)生們的一致歡迎；其次，我要求5個小組長提前去學(xué)校門口的超市，了解糖塊的種類與價格，并告知其他同學(xué)；再次，我要求班委成員負(fù)責(zé)了解班上每一名同學(xué)的需求并進行分類、計算總量。每人限一塊，以便于合理安排買糖的數(shù)量與花費；再次，將買來的糖帶入教室，上課，進行相關(guān)的數(shù)據(jù)整理與分析；最后，完成全部教學(xué)任務(wù)后，吃糖。
當(dāng)我將此想法與實際的授課過程講給其他老師聽時，有老師笑談“孩子們學(xué)習(xí)的動力就是吃糖”。我不否認(rèn)這是學(xué)生們積極參與教學(xué)活動的動力之一，因為事先我有告訴學(xué)生全部的活動過程與“完不成就不會有糖吃”的話。但不可否認(rèn)的是，對于二年級的學(xué)生來說，為了達(dá)成“每個同學(xué)都能吃到自己想吃的糖”這一目標(biāo)，要在活動的每一個步驟都進行相關(guān)數(shù)據(jù)的收集、整理與分析，才能正確且順利地完成任務(wù)。簡言之，等于我們告訴學(xué)生，“為什么要進行數(shù)據(jù)分析”、“只因為我們需要達(dá)成一定的目的”，并且，活動的每一步驟的數(shù)據(jù)分析都有學(xué)生親自進行，并明確知曉這樣做的原因——當(dāng)然不是教師的程式化的要求，這就使得學(xué)生的數(shù)據(jù)分析工作是主動的，各成員之間是相互合作的，既使學(xué)生愉快地接受了數(shù)據(jù)分析的內(nèi)容與過程，也在增強學(xué)生數(shù)據(jù)分析觀念的同時，培養(yǎng)了學(xué)生主動學(xué)習(xí)與合作的精神。
二、挖掘數(shù)據(jù)中蘊藏的深層信息，體驗數(shù)據(jù)分析的應(yīng)用價值
統(tǒng)計教學(xué)的一個重要目標(biāo)，是鼓勵學(xué)生通過分析從統(tǒng)計圖表中獲取盡可能多的信息，為后續(xù)的某項工作或?qū)W習(xí)做出合理的決策。表現(xiàn)在教材中，數(shù)據(jù)分析觀念的首次引入即是一個簡單的“最喜歡的動物”的統(tǒng)計圖，接下來的每一個問題的答案無不需要從該統(tǒng)計圖進行尋找。這樣的例子，在學(xué)生生活中也是有接觸的。但是，教學(xué)過程中，也存在一個常見現(xiàn)象，學(xué)生通過統(tǒng)計圖表獲取的信息，多是一些最基本的、一眼即可看出的直接信息，而很少能夠?qū)D表上的數(shù)據(jù)信息進行更為深入的整理與分析，挖掘出更多有價值和有意義的信息來做出合理的決策。
關(guān)鍵詞：Matlab軟件；制流與分壓電路實驗；特性研究
一、分壓電路特性研究及參數(shù)的變化
首先，用1000Ω滑線變阻作分壓器，負(fù)載電阻用1000Ω（K=1），測出滑線電阻滑動端的位置參數(shù)X和U/Umax分壓比，并作出U/Umax的關(guān)系曲線。其次，同上，用1000Ω滑線電阻和500Ω的負(fù)載電阻（K=0.1），測出X和U/Umax，記錄不同的K值。在Matlab軟件中編寫下列程序?qū)崿F(xiàn)分壓電路實驗數(shù)據(jù)的處理和圖像的擬合：
x0=0：0.1：1.0；
y1=[0 0.24 0.48 0.58 0.72 0.92 1.12 1.58 2.18 3.42 4.46]；
z1=max（y1）；
y2=[0 0.38 0.72 0.98 1.32 1.72 2.02 2.48 3.26 4.18 4.64]；
z2=max（y2）；
y3=[0 0.40 0.82 1.18 1.58 2.02 2.40 2.98 3.62 4.32 4.52]；
z3=max（y3）；
y4=[0 0.18 0.28 0.34 0.48 0.58 0.78 1.02 1.66 2.98 4.48]；
z4=max（y4）；
n=3；
p1=polyfit（x0，y1，n）
p2=polyfit（x0，y2，n）
p3=polyfit（x0，y3，n）
p4=polyfit（x0，y4，n）
xx=0：0.01：1.0；
yy1=polyval（p1，xx）；
yy2=polyval（p2，xx）；
yy3=polyval（p3，xx）；
yy4=polyval（p4，xx）；
plot（xx，yy1/z1，'r'，x0，y1/z1，'.r'）
hold on；
plot（xx，yy2/z2，'k'，x0，y2/z2，'.k'）
hold on；
plot（xx，yy3/z3，'b'，x0，y2/z2，'.b'）
hold on；
plot（xx，yy4/z4，'g'，x0，y4/z4，'.g'）
hold off；
由實驗可得不同K值的分壓特性曲線，如圖1所示。從曲線可以清楚看出分壓電路有如下幾個特點：第一，不論R0的大小，負(fù)載RZ的電壓調(diào)節(jié)范圍均可從0■E；第二，K越小電壓調(diào)節(jié)越不均勻，曲線線性程度越差，細(xì)調(diào)程度較差；第三，K越大電壓調(diào)節(jié)越均勻，因此要電壓U在0到Umax整個范圍內(nèi)均勻變化，則取K>1比較合適。
■
圖1 不同K值的分壓特性曲線
二、制流電路特性研究及參數(shù)的變化
首先，用1000Ω滑線變阻作制流器，負(fù)載電阻用100Ω（K=0.1），測出滑線電阻滑動端的位置參數(shù)X和分壓比I/Imax，并作出I/Imax-x的關(guān)系曲線。其次，同上，用10000Ω滑線電阻和20Ω的負(fù)載電阻（K=0.02），測出X和I/Imax，記錄不同的K值，并作出關(guān)系曲線，在Matlab軟件中編寫下列程序?qū)崿F(xiàn)制流電路實驗數(shù)據(jù)的處理和圖像的擬合：
x0=0：0.1：1.0；
y1=[0.04 0.04 0.08 0.12 0.18 0.22 0.30 0.52 1.02 3.58 4.18]；
z1=max（y1）；
y2=[0.04 0.04 0.08 0.12 0.18 0.24 0.30 0.52 0.92 2.38 4.98]；
z2=max（y2）；
y3=[0.02 0.02 0.02 0.04 0.12 0.18 0.28 0.40 0.70 2.98 3.52]；
z3=max（y3）；
y4=[0.01 0.01 0.01 0.01 0.02 0.08 0.20 0.30 0.60 1.20 2.0]；
z4=max（y4）；
n=3；
p1=polyfit（x0，y1，n）
p2=polyfit（x0，y2，n）
p3=polyfit（x0，y3，n）
p4=polyfit（x0，y4，n）
xx=0：0.01：1.0；
yy1=polyval（p1，xx）；
yy2=polyval（p2，xx）；
yy3=polyval（p3，xx）；
yy4=polyval（p4，xx）；
plot（xx，yy1/z1，'r'，x0，y1/z1，'.r'）
hold on；
plot（xx，yy2/z2，'k'，x0，y2/z2，'.k'）
hold on；
plot（xx，yy3/z3，'b'，x0，y2/z2，'.b'）
hold on；
plot（xx，yy4/z4，'g'，x0，y4/z4，'.g'）
hold off；
（上接第47頁）
■
圖2 不同值的制流特性曲線
圖2表示不同K值的制流特性曲線，從曲線可以清楚地看到制流電路有以下幾個特點：第一，K越大電流調(diào)節(jié)范圍越??；電流調(diào)節(jié)越均勻，曲線線性程度較好；第二，K（K≥1）時調(diào)節(jié)的線性較好；第三，K較小時（即R0>RZ），電流調(diào)節(jié)范圍大，電流調(diào)節(jié)越不均勻，曲線線性程度越差，細(xì)調(diào)程度較差；第四，不論R0大小如何，負(fù)載RZ上通過的電流都不可能為零。第五，制流電路適用于負(fù)載電阻較小，功耗較大，電壓調(diào)節(jié)范圍較小的場合。
綜上所述，當(dāng)負(fù)載電阻較大時，要求調(diào)節(jié)范圍較寬時宜采用分壓電路。相反，在負(fù)載電阻較小，功耗較大且調(diào)節(jié)范圍不太大時，選用制流電路較好。
參考文獻(xiàn)：
[1]陳玉林，李傳起.大學(xué)物理實驗[M].北京：科學(xué)出版社，2007：186-190.
[2]穆曉東.制流與分壓電路實驗參數(shù)的選擇與確定[J].大學(xué)物理實驗，2004，（01）.
從現(xiàn)實著眼，從宏觀層面反映城市在全國范圍內(nèi)的競爭力與綜合影響力的“國內(nèi)知名度”對于進行中國區(qū)域城市的比較研究具有重大意義：一方面，通過分析中國城市在經(jīng)歷從帶有濃厚農(nóng)業(yè)社會傳統(tǒng)向快速現(xiàn)代化轉(zhuǎn)型的進程，有利于揭示政治、經(jīng)濟和文化在城市知名度建構(gòu)機制中的作用關(guān)系；另一方面，在中國區(qū)域現(xiàn)代化發(fā)展進入到攻堅期的背景下，城市國內(nèi)知名度的研究可以為區(qū)域城市競爭力對比分析提供精準(zhǔn)切入點。特別是對于處于中國經(jīng)濟和文化中心的蘇南地區(qū)而言，對區(qū)域內(nèi)城市的國內(nèi)知名度的變遷軌跡和結(jié)構(gòu)特征進行歷史比較分析，并與其他區(qū)域的代表性城市進行空間對照觀察，能夠在一般意義上歸納出在社會轉(zhuǎn)型過程中中國城市的發(fā)展機理以及動力構(gòu)成。
盡管關(guān)于城市知名度的研究日益成為城市文化領(lǐng)域的“顯學(xué)”，但梳理以往的相關(guān)研究，我們不難發(fā)現(xiàn):絕大多數(shù)研究是以理論探討為旨趣，并且研究視域較為狹隘，缺乏從全面整體的維度對城市文化影響力進行研究。并且在一些采取量化分析方法的研究中，其操作化指標(biāo)在可信性、全面性、有效性等方面也備受質(zhì)疑。究其原因，一方面是由于采用抽樣調(diào)查的資料收集方法不可避免地要承受成本巨大和樣本代表性難以得到可靠保證的風(fēng)險，而更為關(guān)鍵的則是在現(xiàn)有的技術(shù)條件下既難以在空間維度上保證基于全國范圍內(nèi)的系統(tǒng)測量和分析，也無法在時間維度上完成大跨度的歷史回溯和描述。Gary King認(rèn)為，由互聯(lián)網(wǎng)時代衍生而來的、具備超大規(guī)模和海量信息特性的“大數(shù)據(jù)”很有可能會打破定性與定量研究的方法和技術(shù)壁壘，進而為社會科學(xué)、人文科學(xué)領(lǐng)域開拓嶄新的分析思維和研究路徑。因此，在互聯(lián)網(wǎng)時代蓬勃興起的“大數(shù)據(jù)”為我們針對大跨度的城市國內(nèi)知名度歷史演化進程進行精準(zhǔn)測量提供了新的研究路徑。特別是通過大數(shù)據(jù)的比較和總結(jié)性的分析，可以看到城市知名度不僅可以作為城市形象一般性表達(dá)的符號和說明，而且也是建構(gòu)城市核心競爭力和提升城市軟實力能級的前提和必要條件，知名度特別是在高美譽度前提下形成的城市知名度，既是一個城市的特色和文化價值的表達(dá)，也是城市文化軟實力的集中表現(xiàn)，還是“城市文化資本”再生產(chǎn)的前提和文化場域。
(二)以谷歌圖書和百度指數(shù)為基礎(chǔ)的大數(shù)據(jù)
谷歌圖書(Google Books)的創(chuàng)立和互聯(lián)網(wǎng)搜索引擎的發(fā)展，為在社會科學(xué)領(lǐng)域內(nèi)有效克服“大數(shù)據(jù)”所存在的資料獲取難度大、以及學(xué)界對其與社會科學(xué)研究之間適用性、樣本代表性、測量方法的信度和效度等爭議提供了有力支持。自2004年年底以來，谷歌公司與哈佛大學(xué)、劍橋大學(xué)等40多所國際知名大學(xué)及相關(guān)出版社合作，對館藏圖書及出版社贈書進行了數(shù)字化的建設(shè)，截止到2013年，谷歌圖書最新版語料庫中被掃描和識別的圖書已經(jīng)超過3000多萬種，目前可供進行全文檢索和數(shù)據(jù)分析的書籍高達(dá)8116746種，詞匯量為8613億。其中，漢語(簡體)書籍和詞匯數(shù)量分別為30萬種和269億。表1展示了谷歌圖書語料庫2012年第2版的主要構(gòu)成，其數(shù)據(jù)資源規(guī)模的超大體量性和極佳的時空代表性為從事中國社會問題的歷史性組群對象和現(xiàn)實社會問題的研究提供了技術(shù)可行性支持。
此外，由于近年互聯(lián)網(wǎng)的迅速崛起已經(jīng)深刻改變?nèi)祟惿鐣畔①Y源聚合方式，加之谷歌圖書書籍詞頻檢索時間存在的限制(截至到2008年)，并且基于中國大陸網(wǎng)絡(luò)用戶對于搜索引擎使用習(xí)慣的考慮，我們認(rèn)為有必要結(jié)合中國國情引入在中文世界中占據(jù)核心地位的百度搜索引擎來更加精確、全面地反映處于中國大陸范圍內(nèi)各大城市在本土的受關(guān)注度情況，以進一步提高樣本的規(guī)模性和代表性。我們采用2011-2016年百度指數(shù)的“用戶關(guān)注度’，大數(shù)據(jù)來分析蘇南城市及其他中國主要大城市國內(nèi)知名度在此期間的變動情況。
這一分析方法的意義還有，對于相關(guān)城市地名出現(xiàn)的頻率和范圍可以從一般意義上佐證知名度的程度和價值，雖然個別大事件，特別是負(fù)面意義的大事件，對城市知名度的影響度有較大的影響。但是，在一個較長的時間段內(nèi)，人們主要關(guān)注的是某一城市的整體文化意義，如人們對某城市的歷史領(lǐng)域、建筑領(lǐng)域、文化藝術(shù)領(lǐng)域等所進行的學(xué)術(shù)研究和傳統(tǒng)文獻(xiàn)的表述。因為城市本身的歷史與現(xiàn)實的價值而對某城市本身的關(guān)注較多，其知名度自然以正面取向和積極意義為主。不言而喻，知名度本身選詞的海量意義來說，知名高與經(jīng)濟社會發(fā)展的正向、城市優(yōu)良的環(huán)境、城市創(chuàng)新性及向上的積極意義呈正相關(guān)。
(三)城市國內(nèi)知名度的概念操作化及測量
應(yīng)該明確，本文所研究的城市知名度是指公眾對某城市綜合意象的正向性認(rèn)知，并且依托在全社會諸領(lǐng)域內(nèi)的綜合影響力而提升關(guān)注度，而非藉由惡意炒作而“吸引眼球”，以及因重大安全事件和集體性事件而增加關(guān)注度。因此，如何尋找更具科學(xué)性的測量工具以便從海量無結(jié)構(gòu)的數(shù)據(jù)中提煉出同時具有時空結(jié)構(gòu)性和研究匹配性的數(shù)據(jù)就顯得尤為重要。筆者認(rèn)為，語言學(xué)中的語料庫詞頻分析的方法可以對某一關(guān)鍵詞在特定時段內(nèi)其所蘊含的文化影響力進行有效測量。在社會科學(xué)領(lǐng)域應(yīng)用“詞頻比例”方法具有充分的邏輯嚴(yán)密性與系統(tǒng)科學(xué)性。一方面，從語言學(xué)角度來看，社會歷史進程中的多數(shù)事件和現(xiàn)象都是依靠書籍語言得以記錄，其在承載知識、思維和觀念等抽象事物上最具有正式性和權(quán)威性。而且，書籍語言不僅蘊含了筆者的觀點和意圖，而且更能反映當(dāng)時公眾思維傾向和社會整體風(fēng)尚。超過半個世紀(jì)的漢語印刷書籍在某種意義上匯聚了建國以來整個中國社會的知識、觀念與經(jīng)驗。由于谷歌圖書語料庫具有充分的規(guī)模性、跨度性和代表性，我們可以邏輯性地假定某一詞匯出現(xiàn)在其中的相對頻次能夠近似地反映這個詞匯本身及其蘊含的“文化影響力”，即知名度、公眾關(guān)注度等，甚至折射出某種社會趨勢、風(fēng)尚或思潮。目前，基于谷歌圖書的詞頻統(tǒng)計研究已經(jīng)在國際語言學(xué)和歷史學(xué)界得到廣泛應(yīng)用。比如Jean-Baptiste Michel等人率先利用谷歌圖書語料庫展開的文化史定量分析，阿瑟比等人對其中的情感用詞變遷和英語地區(qū)差異進行的研究，以及賓利等人在書籍詞匯與經(jīng)濟發(fā)展周期之間進行的關(guān)聯(lián)性分析等[l0]，都給我們帶來很好的研究經(jīng)驗與證明。
在本研究中，我們利用谷歌圖書的所有漢語(簡體)書籍(1949-2008年)和百度指數(shù)(2011-2016年)的全部搜索記錄作為語料庫(Corpus )，并將提及有關(guān)蘇南地區(qū)和其他城市的詞匯頻次，作為衡量城市國內(nèi)知名度的測度，從而在超越以往相關(guān)研究的時空跨度上對區(qū)域性城市乃至全國范圍的城市國內(nèi)知名度的歷史變遷軌跡進行全景探索和深度分析。在具體算法上，由于谷歌圖書內(nèi)漢語書籍中的詞匯在數(shù)量上不盡相同，為增強數(shù)據(jù)的時間可比性，
我們用關(guān)鍵詞出現(xiàn)頻數(shù)除以當(dāng)年的詞匯總量。具體的計算公式為:
其中，F(xiàn)表示在公元Y年城市i的出現(xiàn)次數(shù)，F(xiàn)為在公元y年中出版書籍的全部詞匯量、為在公元y年城市i的同頻比例，即國內(nèi)知名度。
百度指數(shù)中用戶關(guān)注度的計算公式是根據(jù)在所選定時段內(nèi)百度網(wǎng)頁或百度新聞的用戶搜索量的周平均值得出，其如下:
關(guān)鍵詞：質(zhì)量管理，統(tǒng)計分析，船舶設(shè)計
中圖分類號：U673.2 文獻(xiàn)標(biāo)識碼：A
Data Analysis Method of Quality Control Applied for Ship Design Project
LI Lanjuan
( Guangzhou Marine Engineering Corporation, Guangzhou 510250 )
Abstract:Statistic and analysis for drawings which are censored by CCS with a new data analysis method of quality control. It can reflect technique level of each profession clearly, then we can adjust to achieve the aim of improve design according to requires.
Key words: Quality control; Data analysis; Ship design
1概述
在船舶設(shè)計項目質(zhì)量管理中，對設(shè)計圖紙的差錯率進行統(tǒng)計分析非常重要，不僅可以總結(jié)經(jīng)驗，還可以找出設(shè)計環(huán)節(jié)中的薄弱之處，進而有針對性地采取改進措施，降低圖紙差錯率和圖紙修改率，最終達(dá)到提高設(shè)計質(zhì)量的目的。本文將一種全新的質(zhì)量管理數(shù)據(jù)分析方法應(yīng)用到船舶設(shè)計項目中，對某船送中國船級社（CCS）廣州審圖中心的各專業(yè)圖樣文件進行了統(tǒng)計和分析。首先對CCS審圖意見類別及其導(dǎo)致修改的原因進行統(tǒng)計，然后對統(tǒng)計結(jié)果進行分析，最后針對產(chǎn)生原因采取相應(yīng)的改進措施。
2專業(yè)審圖意見類別和原因分析
對各專業(yè)分別進行統(tǒng)計和分析，有利于了解各專業(yè)本身技術(shù)力量的實際情況，以便專業(yè)負(fù)責(zé)人做出適時的調(diào)整，對薄弱之處加以改進和提高。根據(jù)CCS的審圖意見類別，對某船各專業(yè)的圖樣文件進行統(tǒng)計，然后根據(jù)CCS提出的意見進行原因分析。
為了方便分析，設(shè)置下列不同的代碼，表示不同的審圖意見類別和原因分析含義。
（1）審圖意見類別代碼含義：
A－認(rèn)可無意見；
AC－認(rèn)可有意見；
N－備查無意見；
NC－備查有意見；
TS－轉(zhuǎn)送現(xiàn)場驗船師審核；
RS－不予批準(zhǔn)，需修改后重新送審。
（2）原因分析代碼含義：
B1-設(shè)計方案欠妥；
B2-設(shè)計接口不協(xié)調(diào)；
B3-不符合現(xiàn)行有效的規(guī)范、法規(guī)要求；
B4-標(biāo)識不明或有誤；
B5-其它。
下面對輪機專業(yè)進行舉例說明：
該專業(yè)的意見類別統(tǒng)計見表1，原因分析統(tǒng)計見表2。
表1輪機專業(yè)CCS審圖意見類別統(tǒng)計表
表2輪機專業(yè)原因分析統(tǒng)計表
由表1可清楚地看出某船輪機專業(yè)圖樣文件的退審意見分布情況。其它專業(yè)也分別如此進行歸類和統(tǒng)計，便能了解本專業(yè)圖樣文件的退審意見分布情況，并且還可將各專業(yè)的退審情況進行比較。
由表2可清楚地看出某船輪機專業(yè)圖樣文件的差錯分布較為集中在B3 （不符合現(xiàn)行有效的規(guī)范、法規(guī)要求），其次是B1（設(shè)計方案欠妥），說明輪機專業(yè)在這兩方面需采取措施加以改進。其它專業(yè)也分別如此歸類和統(tǒng)計，這樣就能清楚地了解各專業(yè)自身的薄弱環(huán)節(jié)在何處，從而可采取相應(yīng)的措施來改進和提高。
3全船審圖意見類別和原因分析
為了使分析具有全局性，對各專業(yè)之間進行比較之后，需對全船進行統(tǒng)計和分析，這樣有利于找出整體中的薄弱環(huán)節(jié)在何處。某船全船圖樣文件的CCS審圖意見類別統(tǒng)計見表3；原因分析統(tǒng)計見表4。
表3全船CCS審圖意見類別數(shù)據(jù)統(tǒng)計表
表4全船原因分析統(tǒng)計表
由表3可清楚地看出各個專業(yè)退審圖樣文件的總體情況。由表4可看出各個專業(yè)圖樣文件的退審意見主要集中在B3（不符合現(xiàn)行有效的規(guī)范、法規(guī)要求），說明在這一環(huán)節(jié)所有專業(yè)均比較薄弱，特別是電氣專業(yè)，因此需專門針對這一環(huán)節(jié)制定改進措施。
通過對全船的退審圖樣文件進行統(tǒng)計和分析后，使項目負(fù)責(zé)人能清楚地掌握各專業(yè)的實際工作情況與整個項目組中的薄弱環(huán)節(jié)所在，以便采取改進措施，從全局出發(fā)對各專業(yè)的技術(shù)力量進行調(diào)整，進而提高產(chǎn)品項目設(shè)計質(zhì)量。
4結(jié)論
在船舶設(shè)計項目中采用這種全新的質(zhì)量管理數(shù)據(jù)分析方法，不僅能清晰地反映出各專業(yè)本身的優(yōu)劣勢，還能反映出各個專業(yè)之間技術(shù)力量的強弱差別。這樣不但讓專業(yè)負(fù)責(zé)人能了解本專業(yè)的問題所在，并采取相應(yīng)的改進措施，同時也能讓項目負(fù)責(zé)人掌控全局，根據(jù)需要對各專業(yè)進行協(xié)調(diào)，從而提高產(chǎn)品項目的質(zhì)量，降低圖樣文件的差錯率。
作者簡介：李蘭娟（1979-），女，工程師。從事項目管理與質(zhì)量管理工作。
收稿日期：2013-07-05
國際動態(tài)
日本獲得6艘靈便型散貨船訂單
近日，Sesoda公司表示，通過其子公司及合資公司(JV)訂造了2艘34000DWT型及4艘38000DWT型散貨船。相關(guān)散貨船的新造船價分別為“每艘2500萬美元以下”及“最高2600萬美元”水平。
這些新造船將在日本Namura(名村)造船、Imabari(今治)造船以及匿名的其他日本造船廠進行建造，安排在2016-2018年交付。
南日本造船獲4艘甲醇運輸船訂單
1.1 系統(tǒng)建設(shè)必要性
隨著世界經(jīng)濟形勢和金融環(huán)境發(fā)生的巨大變化，作為金融市場中的重要組成部分，商業(yè)銀行在發(fā)展中面臨的風(fēng)險很多，而信用風(fēng)險始終是其面臨的最主要風(fēng)險之一，也是影響一國經(jīng)濟發(fā)展的主要因素。與此同時，監(jiān)管部門也規(guī)定商業(yè)銀行新資本協(xié)議的整體規(guī)劃和實施路徑中，信用風(fēng)險數(shù)據(jù)集市是新協(xié)議實施合規(guī)達(dá)標(biāo)的必要條件之一。
在此背景下，結(jié)合時下迅速發(fā)展起來的“大數(shù)據(jù)”思想，在商業(yè)銀行信用風(fēng)險管理中，構(gòu)建信用風(fēng)險數(shù)據(jù)集市成已為必然的選擇。
1.2 銀行同業(yè)系統(tǒng)建設(shè)情況
近年來國內(nèi)外同業(yè)銀行期紛紛開展風(fēng)險數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計與風(fēng)險數(shù)據(jù)集市建設(shè)項目。通過數(shù)據(jù)系統(tǒng)的建設(shè)加大對各類內(nèi)外部數(shù)據(jù)的運用，借此提高風(fēng)險管理的能力和水平。
國外方面，在不斷加大對信用風(fēng)險管理的關(guān)注力度和研究力度的同時，各類數(shù)據(jù)運用系統(tǒng)的建設(shè)已全面展開并在信用風(fēng)險管理中得到了運用。Mckinsey公司的研究表明：信用風(fēng)險占銀行總體風(fēng)險敞口的60%，是導(dǎo)致銀行破產(chǎn)的最主要因素，也是導(dǎo)致區(qū)域性金融危機甚至全球性金融危機的根本原因之一[1]。國外的許多先進銀行已實現(xiàn)了內(nèi)外部數(shù)據(jù)的高度整合，并已積累了大量歷史數(shù)據(jù)，建立起各自的信用風(fēng)險違約數(shù)據(jù)庫。
國內(nèi)方面，我國的商業(yè)銀行也在緊跟國際發(fā)展步伐，近年來也逐步建立起了基于計算機技術(shù)的信用風(fēng)險管理體系。如：平安銀行開展了“風(fēng)險數(shù)據(jù)集市建設(shè)項目”；寧波鄞州銀行開展了“全面風(fēng)險管理系統(tǒng)項目”；徽商銀行開展了“徽商銀行零售信用風(fēng)險數(shù)據(jù)集市項目”；天津農(nóng)商行開展了“信用風(fēng)險數(shù)據(jù)集市管理系統(tǒng)項目”等[2]。但與國外先進銀行相比，還存在較大的差距，因此需要加快基于數(shù)據(jù)的信用風(fēng)險管理系統(tǒng)。
2 信用風(fēng)險數(shù)據(jù)集市構(gòu)建探索
2.1 信用風(fēng)險數(shù)據(jù)集市定位
信用風(fēng)險數(shù)據(jù)集市的定位是構(gòu)建一個適應(yīng)商業(yè)銀行數(shù)據(jù)特點和信用風(fēng)險管理需求的數(shù)據(jù)中心系統(tǒng)，為進一步完善商業(yè)銀行全方位、多層次的信用風(fēng)險管控體系服務(wù)。通過對海量的內(nèi)外部數(shù)據(jù)按不同主題進行區(qū)分和加工，計算出各類指標(biāo)等中間數(shù)據(jù)和衍生數(shù)據(jù)，將數(shù)據(jù)中的隱含信息最大程度的加以挖掘、表達(dá)和運用，為信用風(fēng)險管理提供服務(wù)。
2.2 信用風(fēng)險數(shù)據(jù)集市建設(shè)目標(biāo)
信用風(fēng)險數(shù)據(jù)集市的總體建設(shè)目標(biāo)是建立一個以信用風(fēng)險管理為主、面向全行各業(yè)務(wù)部門的、支持各類信用風(fēng)險應(yīng)用的數(shù)據(jù)集市環(huán)境。數(shù)據(jù)集市的數(shù)據(jù)范圍需要覆蓋銀行內(nèi)部客戶方面、交易與投資業(yè)務(wù)方面、信貸資產(chǎn)業(yè)方面的所有細(xì)節(jié)數(shù)據(jù)與相關(guān)風(fēng)險應(yīng)用的派生數(shù)據(jù)，為各個不同的風(fēng)險應(yīng)用系統(tǒng)之間提供數(shù)據(jù)共享服務(wù)，以保證全行一致的風(fēng)險數(shù)據(jù)視圖根據(jù)信用風(fēng)險數(shù)據(jù)集市的定位，并結(jié)合商業(yè)銀行信用風(fēng)險管理的需求和特點，系統(tǒng)的建設(shè)目標(biāo)主要包括以下幾方面：
1） 解決各系統(tǒng)數(shù)據(jù)分散、彼此獨立的問題，構(gòu)建全行性的數(shù)據(jù)平臺，對來自不同系統(tǒng)的數(shù)據(jù)進行整合后的共享，實現(xiàn)數(shù)據(jù)的統(tǒng)一管理和利用。
2） 盡可能多的收集并利用與信用風(fēng)險相關(guān)的各類外部數(shù)據(jù)，如工商、稅務(wù)、征信等方面的數(shù)據(jù)，使商業(yè)銀行內(nèi)部的信用風(fēng)險管理從有限的內(nèi)部資源中延伸到廣闊的外部環(huán)境中，利用更多有價值的數(shù)據(jù)信息為信用風(fēng)險管理服務(wù)。
3） 對獲取的基礎(chǔ)數(shù)據(jù)進行掘取和加工，提煉出客戶、產(chǎn)品、行業(yè)、機構(gòu)等不同維度中的隱含信息，分析并掌握數(shù)據(jù)背后的潛在規(guī)律，為信用風(fēng)險管理提供依據(jù)，完成業(yè)務(wù)數(shù)據(jù)向信用風(fēng)險管理信息的過渡。
4） 面對信用風(fēng)險管理中不同下游應(yīng)用系統(tǒng)的數(shù)據(jù)需求，在集市內(nèi)部區(qū)分不同的數(shù)據(jù)模型，在集市外部提供統(tǒng)一的數(shù)據(jù)供應(yīng)平臺，保證各應(yīng)用系統(tǒng)間數(shù)據(jù)的統(tǒng)一性。
5） 解決行內(nèi)各部門間信息不對稱的問題，統(tǒng)一內(nèi)外部監(jiān)管報表數(shù)的據(jù)口徑，實現(xiàn)集市自動對不同系統(tǒng)、不同報表之間數(shù)據(jù)的校驗，提高報表數(shù)據(jù)質(zhì)量，并提供靈活查詢工具實現(xiàn)隨時、隨需提取數(shù)據(jù)生產(chǎn)報表。
3 系統(tǒng)總體架構(gòu)
3.1 數(shù)據(jù)采集方案
信用風(fēng)險數(shù)據(jù)集市是對數(shù)據(jù)進行應(yīng)用的系統(tǒng)，因此數(shù)據(jù)采集是保證系統(tǒng)性能和應(yīng)用效果的前提和基礎(chǔ)。在設(shè)計數(shù)據(jù)采集方案時需要重點考慮數(shù)據(jù)質(zhì)量、采集效率、ODS數(shù)據(jù)庫建設(shè)以及數(shù)據(jù)處理過程ETL的實現(xiàn)。
為保證數(shù)據(jù)質(zhì)量，除了在系統(tǒng)建設(shè)初期通過數(shù)據(jù)分析和業(yè)務(wù)部門訪談來查找和修正錯誤數(shù)據(jù)外，在系統(tǒng)架構(gòu)的設(shè)計中也應(yīng)該引入數(shù)據(jù)質(zhì)量管理和控制機制，在數(shù)據(jù)采集的源頭上做好數(shù)據(jù)質(zhì)量管理和控制，避免因數(shù)據(jù)質(zhì)量問題造成上層應(yīng)用的失真。
數(shù)據(jù)質(zhì)量管理和控制機制的工作原理如圖1所示。采集來的數(shù)據(jù)被存儲在數(shù)據(jù)存儲區(qū)中，在數(shù)據(jù)存儲區(qū)之后設(shè)定一系列的數(shù)據(jù)質(zhì)量檢查規(guī)則對數(shù)據(jù)質(zhì)量進行檢查。質(zhì)量檢查規(guī)則是通過數(shù)據(jù)質(zhì)量規(guī)則庫來完成的，數(shù)據(jù)質(zhì)量規(guī)則庫是事先定義好的檢查規(guī)則，當(dāng)然也可以隨時對其中的規(guī)則進行修改和補充。
ODS數(shù)據(jù)庫對數(shù)據(jù)的采集應(yīng)當(dāng)實現(xiàn)的目標(biāo)是：將內(nèi)部各業(yè)務(wù)系統(tǒng)數(shù)據(jù)及外部不同來源的數(shù)據(jù)采集至統(tǒng)一的ODS數(shù)據(jù)倉庫，再經(jīng)過統(tǒng)一的ETL處理過程后供應(yīng)給信用風(fēng)險數(shù)據(jù)集市，如圖2所示。
各業(yè)務(wù)系統(tǒng)數(shù)據(jù)先經(jīng)過ODS匯總后，再統(tǒng)一供應(yīng)給集市，這樣可大大提高數(shù)據(jù)采集效率，同時減少數(shù)據(jù)冗余問題，并節(jié)省存儲空間。
ETL的處理過程是指數(shù)據(jù)的抽取、轉(zhuǎn)換和裝載，主要作用是減少對數(shù)據(jù)倉庫時間窗口的占用，減少數(shù)據(jù)的轉(zhuǎn)換過程。隨著基于信用風(fēng)險數(shù)據(jù)集市應(yīng)用的增多，ODS到ETL的過程應(yīng)減少依賴性，避免應(yīng)用的增加造成ETL的重復(fù)開發(fā)。
上述的數(shù)據(jù)采集架構(gòu)，從數(shù)據(jù)的采集路徑與環(huán)節(jié)看，數(shù)據(jù)流明確，環(huán)節(jié)簡單，對原業(yè)務(wù)系統(tǒng)影響很小。而信用風(fēng)險數(shù)據(jù)集市的數(shù)據(jù)統(tǒng)一來源于ODS，也能保證系統(tǒng)的安全性也較高，且有效避免了重復(fù)的數(shù)據(jù)整合與轉(zhuǎn)換工作[3] 。
3.2 系統(tǒng)邏輯結(jié)構(gòu)設(shè)計
信用風(fēng)險數(shù)據(jù)集市以挖掘數(shù)據(jù)中的信用風(fēng)險信息為目的，對于數(shù)據(jù)的應(yīng)用應(yīng)打破關(guān)系型數(shù)據(jù)庫理論中標(biāo)準(zhǔn)泛式的約束，將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)重新組織和整理，為各類信用風(fēng)險應(yīng)用提供數(shù)據(jù)支持。在對整個系統(tǒng)的邏輯結(jié)構(gòu)進行設(shè)計時，應(yīng)從面向應(yīng)用的角度出發(fā)，采用“自頂向下”的設(shè)計方法，對數(shù)據(jù)分層處理、逐層加工。按照這個思想，將信用風(fēng)險數(shù)據(jù)集市的邏輯結(jié)構(gòu)設(shè)計如圖3所示。
系統(tǒng)邏輯架構(gòu)自下而上分為三層 ：基礎(chǔ)層、模型層和應(yīng)用層。基礎(chǔ)層包括從ODS數(shù)據(jù)倉庫以及ETL處理過程；模型層包括數(shù)據(jù)緩沖層、基礎(chǔ)整合層、加工匯總層和應(yīng)用接口層；應(yīng)用層指針對信用風(fēng)險數(shù)據(jù)的各類應(yīng)用，如：為相關(guān)系統(tǒng)供數(shù)、RWA及經(jīng)濟資本計算、固定報表、靈活查詢、指標(biāo)查詢等。
3.2.1 基礎(chǔ)層的設(shè)計
基礎(chǔ)層的關(guān)鍵在于ETL過程的設(shè)計。ETL過程的作用是將ODS獲取的數(shù)據(jù)，經(jīng)過一系列加工處理加載進信用風(fēng)險數(shù)據(jù)集市的過程。ETL處理流程主要包括以下主要步驟[4]：
數(shù)據(jù)抽取：數(shù)據(jù)抽取就是將集市需要的業(yè)務(wù)數(shù)據(jù)從ODS數(shù)據(jù)倉庫抽取到ETL的數(shù)據(jù)轉(zhuǎn)換區(qū)的過程；
數(shù)據(jù)檢查和出錯處理：在數(shù)據(jù)轉(zhuǎn)換區(qū)中，對源數(shù)據(jù)質(zhì)量進行檢查，形成檢查報告，并進行相應(yīng)的出錯處理，對于嚴(yán)重錯誤，需要系統(tǒng)維護人員現(xiàn)場做出相應(yīng)的處理。
數(shù)據(jù)轉(zhuǎn)換：數(shù)據(jù)轉(zhuǎn)換包括對源系統(tǒng)數(shù)據(jù)進行整理、剔除、合并、驗證等一系列轉(zhuǎn)換工作，最后形成集市數(shù)據(jù)結(jié)構(gòu)所需的數(shù)據(jù)，存放在轉(zhuǎn)換區(qū)的數(shù)據(jù)表中。
數(shù)據(jù)加載：數(shù)據(jù)加載將數(shù)據(jù)轉(zhuǎn)換的結(jié)果數(shù)據(jù)加載到集市，并形成數(shù)據(jù)加載情況的報告。
經(jīng)過以上ETL處理流程，能夠使數(shù)據(jù)源穩(wěn)定的、周期性的導(dǎo)入到信用風(fēng)險數(shù)據(jù)集市中。
3.2.2 模型層的設(shè)計
模型層是信用風(fēng)險數(shù)據(jù)集市的核心，這層的作用是組織信用風(fēng)險管理所需的數(shù)據(jù)，形成信用風(fēng)險類應(yīng)用的數(shù)據(jù)基礎(chǔ)。基礎(chǔ)區(qū)按不同風(fēng)險主題采用模型化結(jié)構(gòu)存儲信用風(fēng)險應(yīng)用所需的各類明細(xì)業(yè)務(wù)數(shù)據(jù)。因為各類信用風(fēng)險采用的計量方法不盡相同，因此基礎(chǔ)區(qū)按不同風(fēng)險主題對數(shù)據(jù)進行整合。又因基礎(chǔ)數(shù)據(jù)來自不同的源系統(tǒng)，結(jié)構(gòu)復(fù)雜多樣，為將這些數(shù)據(jù)整合、關(guān)聯(lián)起來，形成完整的信用風(fēng)險數(shù)據(jù)信息，同時在結(jié)構(gòu)上保持一定的穩(wěn)定性和一致性，因此在不同主題下采用模型化結(jié)構(gòu)對帶有同樣業(yè)務(wù)特征的數(shù)據(jù)進行分類存儲。
在模型層，經(jīng)過ETL處理后的數(shù)據(jù)被存儲在數(shù)據(jù)緩沖層中。數(shù)據(jù)緩沖層是一個數(shù)據(jù)臨時存儲區(qū)，其作用是等待數(shù)據(jù)被進一步調(diào)用。
在數(shù)據(jù)緩沖層之上是基礎(chǔ)數(shù)據(jù)整合層，在這層中，集市將按照不同主題域?qū)?shù)據(jù)做初步的區(qū)分和整理。主題域的劃分是逐層細(xì)化的，基礎(chǔ)整合層主要有對公信貸、零售信貸、公共主題、投資交易幾個主題。其中對公信貸包括參與主題、客戶評級、交易活動、業(yè)務(wù)流程、風(fēng)險緩釋、債項評級、不良資產(chǎn)、財務(wù)信息等二級主題；零售信貸包括個貸、個人征信、信用卡、零售分池、中小企業(yè)等二級主題。
經(jīng)過基礎(chǔ)整合層的主題域劃分，各類業(yè)務(wù)明細(xì)數(shù)據(jù)和外部數(shù)據(jù)已被做出初步匯總和區(qū)分，不同來源的數(shù)據(jù)經(jīng)過主題的劃分被有效關(guān)聯(lián)起來，數(shù)據(jù)間的聚合程度得到了提高，有利于數(shù)據(jù)的進一步運用。
基礎(chǔ)整合層之上是加工匯總層，加工匯總層完全由應(yīng)用驅(qū)動，根據(jù)信用風(fēng)險管理應(yīng)用需求來存儲和加工匯總后的指標(biāo)數(shù)據(jù)等。該部分可以根據(jù)不同應(yīng)用系統(tǒng)的指標(biāo)進行劃分二級主題，也可以根據(jù)風(fēng)險的收益、資本、敞口等等進行劃分主題對基礎(chǔ)整合層的數(shù)據(jù)加以挖掘和提煉，進一步從基礎(chǔ)數(shù)據(jù)中提取有效信息，產(chǎn)生更多的中間數(shù)據(jù)、指標(biāo)數(shù)據(jù)和衍生數(shù)據(jù)。
信用風(fēng)險數(shù)據(jù)集市中，直接與各類應(yīng)用對接的是應(yīng)用接口層。這層定義了集市與具體應(yīng)用間的數(shù)據(jù)接口、數(shù)據(jù)文本、視圖和建?？畋淼?，將數(shù)據(jù)模型中的信息通過具體應(yīng)用表達(dá)出來，使信用風(fēng)險應(yīng)用得以實現(xiàn)。
3.2.3 應(yīng)用層的設(shè)計
應(yīng)用層是信用風(fēng)險數(shù)據(jù)集市建設(shè)的目的所在，根據(jù)商業(yè)銀行信用風(fēng)險管理方面的具體需求可通過信用風(fēng)險數(shù)據(jù)集市支持內(nèi)部評級系統(tǒng)、風(fēng)險預(yù)警系統(tǒng)等系統(tǒng)的建設(shè)，完成RWA及經(jīng)濟資本和各類指標(biāo)的計算，提供內(nèi)外部監(jiān)管報表的查詢等。在下文中將對信用風(fēng)險數(shù)據(jù)集市的具體應(yīng)用展開進一步探討。
4 信用風(fēng)險數(shù)據(jù)集市的應(yīng)用
信用風(fēng)險數(shù)據(jù)集市的應(yīng)用總體可分為三個方面：數(shù)據(jù)支持、報表和統(tǒng)計分析和決策支持，如圖4所示。
4.1 數(shù)據(jù)支持類應(yīng)用
數(shù)據(jù)支持是指為各類信用風(fēng)險管理類的系統(tǒng)供數(shù)，滿足各類信用風(fēng)險應(yīng)用系統(tǒng)的數(shù)據(jù)采集需求，保證這類系統(tǒng)的應(yīng)用的順利實現(xiàn)。同時也與這類信用風(fēng)險應(yīng)用系統(tǒng)進行交互，即不僅為下游應(yīng)用系統(tǒng)提供數(shù)據(jù)支持，也吸收這類系統(tǒng)產(chǎn)生的數(shù)據(jù)結(jié)果，用于更多的信用風(fēng)險管理當(dāng)中。因此，信用風(fēng)險數(shù)據(jù)集市在數(shù)據(jù)支持方面是雙向的，數(shù)據(jù)流的進、出兩條線是并行的。
4.2 報表和統(tǒng)計分析類應(yīng)用
報表和統(tǒng)計分析的應(yīng)用分為定制報表和靈活查詢。定制報表指根據(jù)信用風(fēng)險管理的內(nèi)外部監(jiān)管報表需求，按確定的報表樣式、數(shù)據(jù)口徑、取數(shù)規(guī)則、勾稽關(guān)系和報表頻度等制作出直接可用的報表。靈活查詢則是不針對具體報表需求的數(shù)據(jù)提供，只提供足夠多的數(shù)據(jù)字段，由用戶自己根據(jù)需求選取所需字段并加以組合，形成符合自身需求的報表或查詢結(jié)果。
4.2.1 風(fēng)險分析主題的劃分
在實現(xiàn)報表和統(tǒng)計分析類的應(yīng)用中，應(yīng)重點考慮兩方面問題：一是如何最才能大程度的滿足各類不同的報表或數(shù)據(jù)查詢需求，二是需要考慮隨著業(yè)務(wù)的發(fā)展以及信用風(fēng)險管理的不斷深入，報表和統(tǒng)計分析的需求還將不斷增長和擴展。從這兩點出發(fā)，需要將數(shù)據(jù)區(qū)分成不同的風(fēng)險分析主題。
風(fēng)險主題的劃分應(yīng)從報表及統(tǒng)計分析的需求出發(fā)，先把集市中已有的數(shù)據(jù)區(qū)分成諸如資產(chǎn)質(zhì)量、不良資產(chǎn)、預(yù)警監(jiān)控等不同主題，再對每個主題進行挖掘和補充，利用已有數(shù)據(jù)產(chǎn)生更多隱含數(shù)據(jù)，豐富每個主題的數(shù)據(jù)字段。每個主題之間是彼此獨立但又相互調(diào)用的關(guān)系。除了劃分風(fēng)險分析主題外，商業(yè)銀行還可以針對自身的需求和特點建立專題話的分析主題，如集團客戶分析，關(guān)聯(lián)交易分析等。
4.2.2 報表工具的選擇
報表和統(tǒng)計分析類應(yīng)用的另一個難點就是靈活查詢的實現(xiàn)問題。提供靈活查詢功能的目的在于使用戶可根據(jù)需要隨時提取數(shù)據(jù)信息或生成報表。因此，靈活查詢需要結(jié)合專門的報表工具才能得以實現(xiàn)。
綜合考慮報表工具的緩存能力、數(shù)據(jù)提取的靈活程度等方面，選擇了ORACLE公司的BIEE報表工具。它不僅在數(shù)據(jù)緩存和提取上表現(xiàn)良好，還可以完整的連接企業(yè)內(nèi)各個異構(gòu)數(shù)據(jù)源，從而使報表制作變的更加智能。用戶可以通過不同數(shù)據(jù)字段、度量維度和分析維度輕松組合出所需的報表，必要時還可以通過圖形展示。
4.3 決策支持類應(yīng)用
決策支持引進不同的決策分析模型，通過大量的數(shù)據(jù)計算對某個風(fēng)險專題進行推演，其計算 結(jié)果可反映管理決策的可行性或給出可供選擇的方案。如RWA及經(jīng)濟資本的計算、壓力測試、組合管理等都是信用風(fēng)險數(shù)據(jù)集市在決策支持方面的應(yīng)用。
5 結(jié)束語
本文從商業(yè)銀行信用風(fēng)險管理發(fā)展的需要出發(fā)，結(jié)合內(nèi)外部監(jiān)管要求，探討了信用風(fēng)險數(shù)據(jù)集市的建設(shè)方法，并詳細(xì)闡述了系統(tǒng)在數(shù)據(jù)質(zhì)量控制、數(shù)據(jù)模型設(shè)計和具體運用方面的構(gòu)建思路并給出解決方案。
從商業(yè)銀行信用風(fēng)險管理的發(fā)展趨勢來看，信用風(fēng)險數(shù)據(jù)集市必將過渡更為包含更多數(shù)據(jù)信息的大數(shù)據(jù)系統(tǒng)，并且還要從獨立的系統(tǒng)發(fā)展成為與云端數(shù)據(jù)交互的共享系統(tǒng)。
參考文獻(xiàn)：
[1] 王彥龍.企業(yè)級數(shù)據(jù)倉庫原理、設(shè)計與實踐[M].北京：電子工業(yè)出版社，2009.
關(guān)鍵詞：RFID匹配數(shù)據(jù)；異常數(shù)據(jù)；數(shù)據(jù)有效性析；檢驗
1 背景
城市化和機動化的迅猛發(fā)展，使得城市機動保有量日漸增加，隨之而來的是城市范圍內(nèi)的交通擁堵現(xiàn)象，降低了城市交通系統(tǒng)的運行效率，嚴(yán)重影響了城市居民的日常工作和生活。為了應(yīng)對城市交通擁堵問題，基于先進技術(shù)應(yīng)用的城市智能交通系統(tǒng)建設(shè)得到了廣泛的關(guān)注，發(fā)展迅猛。如結(jié)合2008年北京奧運會建立了北京奧運智能交通管理與服務(wù)綜合系統(tǒng)；結(jié)合2010年上海世博會建立了上海世博智能交通技術(shù)綜合集成系統(tǒng)；結(jié)合2010年廣州亞運會建立了廣州亞運智能交通系統(tǒng)及應(yīng)用，一方面為上述重大體育比賽或文化盛會的順利完成發(fā)揮了保障和支撐作用，另一方面，又形成了一系列的解決我國城市交通擁堵的研究成果和技術(shù)解決方案。
和傳統(tǒng)的交通系統(tǒng)相比，廣泛的交通信息采集和處理是智能交通系統(tǒng)獨有的特點。在智能交通系統(tǒng)建設(shè)過程中，已經(jīng)有一系列的交通檢測技術(shù)得到了應(yīng)用，如傳統(tǒng)的磁感應(yīng)線圈技術(shù)、微波檢測技術(shù)、視頻檢測技術(shù)等，并在城市智能交通系統(tǒng)的建設(shè)領(lǐng)域獲得了廣泛的應(yīng)用。隨著信息采集和處理技術(shù)的進一步發(fā)展，當(dāng)前以RFID（Radio Frequency Identification）技術(shù)為典型代表的基于物聯(lián)網(wǎng)技術(shù)的城市交通信息采集技術(shù)日益發(fā)展，并已經(jīng)在一些城市得到了應(yīng)用，如南京已經(jīng)建成的基于RFID技術(shù)的城市交通信息采集平臺，可以采集到每一輛車的通行信息和特征信息，形成了海量的交通數(shù)據(jù)庫，奠定了交通分析和信息挖掘的基礎(chǔ)。
然而隨著信息處理技術(shù)的不斷發(fā)展，城市交通系統(tǒng)領(lǐng)域雖然已經(jīng)相繼建立了大量的信息系統(tǒng)，積累了海量的交通數(shù)據(jù)，但是很多系統(tǒng)出現(xiàn)了“數(shù)據(jù)豐富，信息貧乏”現(xiàn)象，數(shù)據(jù)質(zhì)量不高是原因之一，主要表現(xiàn)在交通數(shù)據(jù)庫中存在相當(dāng)數(shù)據(jù)的錯誤數(shù)據(jù)、缺失數(shù)據(jù)和可疑數(shù)據(jù)等三類問題[1-2]。為了應(yīng)對上述數(shù)據(jù)質(zhì)量問題，數(shù)據(jù)有效性檢驗技術(shù)應(yīng)運而生。本文以目前領(lǐng)先的交通數(shù)據(jù)采集技術(shù)RFID技術(shù)為研究對象，分析RFID匹配數(shù)據(jù)的有效性，并提出基于統(tǒng)計技術(shù)的RFID匹配數(shù)據(jù)有效性檢驗方法，以為后續(xù)的RFID數(shù)據(jù)挖掘和分析提供數(shù)據(jù)支撐。
2 交通數(shù)據(jù)采集和有效性檢驗綜述
2.1 交通數(shù)據(jù)采集方法
城市交通運行狀態(tài)的實時采集技術(shù)，或城市交通運行狀態(tài)的實時感知技術(shù)是構(gòu)建有效的城市智能交通系統(tǒng)的基礎(chǔ)。常用的道路交通狀態(tài)采集方法如下所述。
⑴感應(yīng)線圈。感應(yīng)線圈是一種常用的道路斷面交通數(shù)據(jù)采集技術(shù)，其原理是通過預(yù)埋在道路面層下的感應(yīng)線圈感知通過的車輛，并計算交通狀態(tài)數(shù)據(jù)，主要包括斷面流量，交通流斷面速度，占有率，其優(yōu)點是技術(shù)成熟，成本較低，可以探測到所有經(jīng)過感應(yīng)線圈的車輛數(shù)據(jù)，缺點是須埋入路面，維護困難，受自然和車輛影響較大；并當(dāng)車輛擁堵嚴(yán)重時，檢測精度下降。
⑵微波檢測器。微波檢測器是一種常用的道路斷面交通數(shù)據(jù)采集技術(shù)，其原理是通過車輛的反射回波分析進行車輛檢測，優(yōu)點是在路側(cè)安裝，不影響路面，維護方便，在車流較為均勻穩(wěn)定時準(zhǔn)確度較高，缺點是在擁堵路段或者車流不穩(wěn)定路段檢測精度較低，特別是在有大車遮擋時檢測效果不理想。
⑶視頻檢測器。視頻檢測器是一種常用的道路斷面交通數(shù)據(jù)采集技術(shù)，其原理是通過視頻攝像機作為傳感器采集交通視頻，并在視頻采集范圍內(nèi)設(shè)置虛擬檢測區(qū)，通過視頻背景值的變化來檢測車輛，優(yōu)點是路側(cè)安裝，不影響路面，價格便宜，缺點是易受惡劣天氣、燈光和陰影等環(huán)境的影響。
⑷浮動車。浮動車是一種常用的路段交通數(shù)據(jù)采集技術(shù)，其原理是通過在車輛上配置位置檢測器如GPS等，實時檢測車輛的行駛軌跡，并計算路段交通狀態(tài)數(shù)據(jù)，其優(yōu)點是交通數(shù)據(jù)準(zhǔn)確，可以直接計算路段交通數(shù)據(jù)，缺點是交通數(shù)據(jù)采集樣本受到檢測車輛的限制，難以構(gòu)建整體交通狀態(tài)數(shù)據(jù)庫。
⑸車牌匹配。車牌匹配是一種基于圖像處理的路段交通數(shù)據(jù)采集技術(shù)，其原理是通過視頻檢測等技術(shù)，在路段兩端進行車輛車牌特征匹配，從而獲取路段交通狀態(tài)數(shù)據(jù)，其優(yōu)點是可以獲得較多的路段交通狀態(tài)數(shù)據(jù)，一旦匹配成功，數(shù)據(jù)準(zhǔn)確度較高，同樣，其缺點是車牌匹配受到車牌檢測技術(shù)限制很大，在復(fù)雜交通環(huán)境下難以實現(xiàn)有效的車牌識別及匹配。
上述傳統(tǒng)的交通數(shù)據(jù)采集技術(shù)側(cè)重于對交通流信息的采集，對單個車輛信息的關(guān)注整體上來說不高；雖然個別方法如車牌匹配技術(shù)考慮到了車輛的識別信息，但上述識別信息受到圖像處理技術(shù)和復(fù)雜交通環(huán)境的限制，仍需采用更加先進的技術(shù)加以完善和提高。物聯(lián)網(wǎng)技術(shù)，特別是以RFID技術(shù)為代表的車輛網(wǎng)技術(shù)發(fā)展，為單一車輛特征數(shù)據(jù)的采集奠定了技術(shù)基礎(chǔ)，使得車輛信息和車流信息的綜合采集成為了可能，為實現(xiàn)道路交通系統(tǒng)的綜合感知提供了前提。
2.2 交通數(shù)據(jù)有效性檢驗
數(shù)據(jù)檢驗技術(shù)最早出現(xiàn)在美國，初期主要是針對全美社會保險號，取得了良好的效果。在交通數(shù)據(jù)有效性檢驗領(lǐng)域，由于交通數(shù)據(jù)采集方法的限制，主要是針對基于線圈的交通數(shù)據(jù)，常用的檢驗方法主要包括邏輯檢驗方法，閾值檢驗方法，基于交通流理論的檢驗方法，綜合檢驗方法等[3-6]。邏輯檢驗方法是檢測交通數(shù)據(jù)中的一些明顯的邏輯性錯誤，如數(shù)據(jù)采集時間漂移、重復(fù)記錄等，可以通過人工觀測的方法實施。閾值檢驗方法是常用的一種數(shù)據(jù)有效性檢驗方法，其主要的原理是根據(jù)歷史交通數(shù)據(jù)資料、經(jīng)驗公式或者交通流的基本理論，確定交通流參數(shù)的可能的取值范圍，如流量、占有率或者速度等，并根據(jù)上述確定的范圍的采集到的相應(yīng)交通流參數(shù)進行檢驗，認(rèn)為落在預(yù)定范圍的交通流數(shù)據(jù)是可疑的。這個方法簡單易行，但是閾值的確定往往受到多種因素的影響，在不同的情況下需要進行特定的研究?；诮煌骼碚摰臋z驗方法的基本原理是交通參數(shù)之間應(yīng)當(dāng)滿通流理論的規(guī)定性，如交通流量、密度和速度的三參數(shù)模型等，在出現(xiàn)不滿足上述交通流模型的情況時，所采集到的交通流數(shù)據(jù)是可疑的。綜合檢測方法是將閾值檢測和交通流理論檢測等方法綜合應(yīng)用，以尋找交通流數(shù)據(jù)樣本中的更加隱蔽的可疑數(shù)據(jù)，常用的如最大密度法和平均有效車長法等。
在RFID數(shù)據(jù)有效性檢驗方面，當(dāng)前的主要研究內(nèi)容是針對RFID的原始數(shù)據(jù)流進行有效性檢驗，主要方法有滑動窗口方法[7]、時序關(guān)系法[8]、自適應(yīng)時間閾值法[9]等，然而在基于RFID技術(shù)的交通數(shù)據(jù)有效性檢驗方面還處在初級的階段，研究成果并不多見。
3 RFID技術(shù)與RFID匹配數(shù)據(jù)
3.1 RFID技術(shù)
無線射頻識別技術(shù)（簡稱RFID）是一種非接觸式自動識別技術(shù)，其基本原理是利用射頻信號或空間耦合（電感或電磁耦合）的傳輸特性，實現(xiàn)對物體或商品的自動識別，被廣泛應(yīng)用于物流、供應(yīng)鏈、動物和車輛識別、門禁系統(tǒng)、圖書管理、自動收費和生產(chǎn)制造等領(lǐng)域。RFID射頻自動識別技術(shù)由電子標(biāo)簽（Tag）、閱讀器（Reader）和數(shù)據(jù)交換與管理系統(tǒng)（Processor）三大部分組成。當(dāng)攜帶電子標(biāo)簽的物體在距離0～10米的范圍內(nèi)接近閱讀器時，閱讀器內(nèi)部控制系統(tǒng)控制閱讀器發(fā)出微波查詢信號；安裝在物體表面的電子標(biāo)簽收到閱讀器的查詢信號后，將此信號與標(biāo)簽中的數(shù)據(jù)信息合成一體反射回電子標(biāo)簽讀出裝置，反射回的微波合成信號已攜帶有電子標(biāo)簽數(shù)據(jù)信息，閱讀器接收到電子標(biāo)簽反射回的微波合成信號后，經(jīng)閱讀器內(nèi)部微處理器處理后即可將電子標(biāo)簽貯存的識別代碼等信息分離讀取出，進一步傳輸?shù)綌?shù)據(jù)交換和管理系統(tǒng)存儲，也可以通過相應(yīng)接口導(dǎo)出至數(shù)據(jù)庫進行第二層面的處理。
RFID技術(shù)最大的優(yōu)點在于非接觸，在完成識別工作時無需人工干預(yù)，適用于自動化系統(tǒng)，概括起來，RFID技術(shù)具有以下特點：1）識別精度高，可快速準(zhǔn)確的識別物體，2）采用無線電射頻，可以繞開障礙物，并透過外部材料讀取數(shù)據(jù)，可工作于惡劣的環(huán)境中，3）可以同時對多個物體進行識讀，4）儲存的信息量大且信息可加密保存，是一般條形碼存貯信息量的幾十倍，甚至上百倍。
3.2 RFID匹配數(shù)據(jù)
RFID原始數(shù)據(jù)包括每輛裝有RFID標(biāo)簽的車輛通過各RFID基站的過車數(shù)據(jù)，包括通過該基站的時間和RFID標(biāo)簽中存儲的準(zhǔn)確的車輛信息，如車牌等。利用傳輸系統(tǒng)將讀寫器采集到的車輛信息傳回到交通信息中心后，基于RFID基站采集到過車車牌號和車輛通過時刻，針對任意一組和路網(wǎng)相匹配的RFID基站對，可以匹配得到每一輛車通過該RFID基站對的平均行程車速，此類由相鄰基站匹配而得到的數(shù)據(jù)稱為匹配數(shù)據(jù)。值得說明的是，在RFID匹配數(shù)據(jù)的計算過程中，RFID基站對的構(gòu)建是基礎(chǔ)，必須考慮到路網(wǎng)的幾何拓?fù)浣Y(jié)構(gòu)，在進行車流方向分析的基礎(chǔ)上，形成以RFID基站對為基礎(chǔ)的完備的RFID基站網(wǎng)絡(luò)。
可以看出，上述RFID匹配數(shù)據(jù)的計算是基于RFID技術(shù)的交通數(shù)據(jù)采集系統(tǒng)中的關(guān)鍵環(huán)節(jié)之一，其匹配數(shù)據(jù)直接體現(xiàn)了每一車輛的行駛狀態(tài)信息，為進行進一步的數(shù)據(jù)處理、獲得其他交通數(shù)據(jù)參數(shù)奠定了基礎(chǔ)。在上述過程中，由于交通路網(wǎng)和交通駕駛行為的復(fù)雜性，RFID匹配數(shù)據(jù)往往也存在和傳統(tǒng)交通數(shù)據(jù)采集方法相類的數(shù)據(jù)質(zhì)量問題，需要加以分析和檢驗，提高RFID匹配數(shù)據(jù)的有效性和質(zhì)量。
4 RFID匹配數(shù)據(jù)有效性分析和檢驗
如上所述，高質(zhì)量的交通流數(shù)據(jù)是智能運輸系統(tǒng)得以實現(xiàn)預(yù)期功能的基礎(chǔ)。RFID技術(shù)作為在智能交通數(shù)據(jù)采集技術(shù)的最新發(fā)展，具有快速獲得大量車輛信息的特點，其中RFID匹配數(shù)據(jù)是其中最為基礎(chǔ)和重要的數(shù)據(jù)。為了提高RFID匹配數(shù)據(jù)的質(zhì)量，有必要對RFID匹配數(shù)據(jù)進行有效性分析和檢驗，以提高數(shù)據(jù)集質(zhì)量，奠定后續(xù)數(shù)據(jù)挖掘和分析的基礎(chǔ)。以下以南京市建設(shè)的基于RFID技術(shù)的交通系統(tǒng)采集平臺為對象進行RFID匹配數(shù)據(jù)的有效性分析和檢驗。
4.1 RFID匹配數(shù)據(jù)分析
⑴數(shù)據(jù)選擇。RFID匹配數(shù)據(jù)的選擇包括RFID基站對的選擇和分析時段的選擇，如下所述。
1）選取基站對：根據(jù)基站所在道路的不同類型和交通狀況，選取RFID樣本基站對。路段類型主要選取主干道、次干道和支路3類，交通情況選取擁堵、交通量較大、自由流3種情況，則共選取3*3=9種情況下的基站對，各選取5個基站對，共45個基站對。在選取時要注意選取有視頻的基站對，以對比查看道路交通狀況。
2）選取時間段：選取高峰、平峰、夜間三種情況的時間段共2小時，如7：30-8：00，14：00-14：30，1：00-1：30。
⑵實例分析。在選定數(shù)據(jù)的基礎(chǔ)上，采用如下步驟進行數(shù)據(jù)的分析，即調(diào)取每個RFID基站對在某一時間段內(nèi)各匹配數(shù)據(jù)經(jīng)過起終點基站的時刻數(shù)據(jù)，逐個查看其時間差t，若t
1）繞路導(dǎo)致行程車速為負(fù)值。分析發(fā)現(xiàn)在RFID基站對（6117，6115）在2012/10/23日14：00-14：20內(nèi)的過車數(shù)據(jù)中，“蘇0001”的行程車速為負(fù)值，明顯是錯誤數(shù)據(jù)（為保護駕駛?cè)穗[私，本文對車輛牌照信息加以隱藏處理，下同）。追蹤該車在當(dāng)日17：30-17：50的過車路徑情況如下圖1所示，可以看出，該車輛依次經(jīng)過RFID基站6117和6115后，因兩次調(diào)頭，又經(jīng)過了RFID基站6116，并再次經(jīng)過了RFID基站6117，在數(shù)據(jù)匹配時，由于RFID基站檢測技術(shù)在路段上基站檢測范圍外的檢測和跟蹤盲點，將通過RFID基站6115的時間和第二次經(jīng)過RFID基站6117的時間進行了匹配，導(dǎo)致了行程車速為負(fù)的情況。
2）繞路導(dǎo)致行程車速過小。基站對（6024，6026）在2012/10/23日17：30-17：50的過車數(shù)據(jù)中的速度分布如圖2。通過視頻跟蹤發(fā)現(xiàn)當(dāng)時該基站對間路段的交通狀況為輕微擁堵，大部分?jǐn)?shù)據(jù)是與交通狀況相符的，但有3個小于10km/h的速度值與其他的數(shù)據(jù)相比偏小，需進一步分析。
選取最小值，即牌號為“蘇0002”的車輛的行程車速5.76km/h進行分析，追蹤該車牌在當(dāng)日17：30-17：50的過車路徑情況如下圖3，可以發(fā)現(xiàn)該車輛在經(jīng)過起點基站6024后，又經(jīng)過了另外兩個站點后才經(jīng)過終點基站6026，存在繞路的情況，導(dǎo)致其經(jīng)過基站對（6024，6026）的行程車速偏小，不能很好的代表該路段的交通狀況，需要檢驗處理。
⑶總結(jié)。在進行大量實證數(shù)據(jù)分析的基礎(chǔ)上，總結(jié)形成RFID匹配數(shù)據(jù)異常數(shù)據(jù)分析總結(jié)表如表1。
4.2 基于統(tǒng)計的匹配數(shù)據(jù)檢測
在大量RFID匹配數(shù)據(jù)分析的基礎(chǔ)上，提出基于統(tǒng)計分析的匹配數(shù)據(jù)有效性檢驗方法，實現(xiàn)對RFID匹配數(shù)據(jù)的有效性檢驗。
⑴算法原理。由于交通流的漸變特性，在固定時間段內(nèi)道路上的車輛車速分布相對連續(xù)，這也就說明匹配車速的分布不可能在短時間內(nèi)出現(xiàn)大幅度的偏差，針對這種狀況可以采用統(tǒng)計的方法對匹配車速進行有效性檢驗。根據(jù)RFID匹配數(shù)據(jù)的連續(xù)性特征，提出利用統(tǒng)計分布模型對匹配車速進行有效性檢驗，針對RFID基站對在固定時間段內(nèi)采集到的車輛車速計算其均值μ和方差σ，并假設(shè)上訴車輛車速符合正態(tài)分布，所以根據(jù)正態(tài)分布的性質(zhì)，構(gòu)建（μ-2σ，μ+2σ）區(qū)間作為有效的RFID匹配數(shù)據(jù)范圍，其中95%的RFID匹配數(shù)據(jù)將落在該區(qū)間內(nèi)，而將落在該區(qū)間之外的RFID匹配數(shù)據(jù)作為可疑的數(shù)據(jù)加以處理。除此之外，考慮到城市交通速度的可能范圍，選取120km/h作為城市交通流速度的上限。綜上所述，基于統(tǒng)計技術(shù)的RFID匹配數(shù)據(jù)有效性檢驗步驟如下：
1）獲取RFID原始數(shù)據(jù)。2）選定某一時間段和RFID基站對，獲取RFID匹配數(shù)據(jù)，計算車輛的行程車速。3）計算RFID匹配數(shù)據(jù)的行程車速的均值μ和方差σ。4）根據(jù)均值μ和方差σ確定閾值。5）根據(jù)閾值，檢驗該時間段內(nèi)該RFID匹配數(shù)據(jù)的有效性：若v1120km/h，則v1屬于錯誤數(shù)據(jù)；若μ-2σ< v1
⑵算例。以基站對（6095，6096）的17：59：00-18：00：00時間段內(nèi)RFID匹配車速作為樣本進行檢驗實例分析。在選定的基站對和時間范圍內(nèi)，共有9個速度樣本如表2。
根據(jù)表2數(shù)據(jù)計算出匹配車速的均值μ=34.64km/h，方差σ=13.91km/h，從而得到該時段匹配車速的閾值范圍為（6.82km/h，62.46km/h），并根據(jù)該范圍篩選出車牌蘇0010的匹配車速為異常數(shù)據(jù)。通過對該路段在該時間段內(nèi)的視頻觀察，可以發(fā)現(xiàn)該路段交通流在高峰時段17：30：00至18：30：00間緩慢前進，車速穩(wěn)定在較低水平，不可能出現(xiàn)大幅度的跳躍，確認(rèn)蘇0010的匹配車速為異常數(shù)據(jù)，驗證了算法的有效性。
5 結(jié)論
以RFID技術(shù)為典型代表的物聯(lián)網(wǎng)技術(shù)將提高智能交通系統(tǒng)的數(shù)據(jù)采集效率，構(gòu)建海量的交通數(shù)據(jù)庫。然而，上述數(shù)據(jù)庫的有效分析和信息挖掘要求RFID數(shù)據(jù)具有較高的質(zhì)量。本文在闡述相關(guān)的交通數(shù)據(jù)采集和有效性分析方法的基礎(chǔ)上，針對RFID匹配數(shù)據(jù)，結(jié)合南京市建成的RFID交通數(shù)據(jù)采集平臺數(shù)據(jù)，系統(tǒng)進行了RFID匹配數(shù)據(jù)的有效性分析，發(fā)現(xiàn)各類RFID匹配數(shù)據(jù)異?，F(xiàn)象，并結(jié)合現(xiàn)場視頻深入分析了異常的原因；同時，在進行RFID匹配數(shù)據(jù)有效性分析的基礎(chǔ)上，利用統(tǒng)計技術(shù)提供了一種RFID匹配數(shù)據(jù)有效性判別方法，并給出了實際的算例，結(jié)果表明，所提出的有效性算法可以檢測異常的RFID匹配數(shù)據(jù)。
交通數(shù)據(jù)的有效性分析和檢驗是提高智能交通系統(tǒng)應(yīng)用效率的重要基礎(chǔ)之一。在RFID交通數(shù)據(jù)采集技術(shù)領(lǐng)域，由于RFID交通采集技術(shù)的應(yīng)用尚不廣泛，在該方向的研究還處在起始階段，本文的研究成果將推動該領(lǐng)域的研究發(fā)展。
致謝
本研究受到國家科技支撐計劃課題No.2011BAK21B01《南京城市綜合智能交通系統(tǒng)關(guān)鍵技術(shù)研究及應(yīng)用示范》資助。
[參考文獻(xiàn)]
[1]耿彥斌，于雷，趙慧.ITS 數(shù)據(jù)質(zhì)量控制技術(shù)及應(yīng)用研究[J].中國安全科學(xué)學(xué)報，2005，15（1）： 82-87.
[2]王曉原，張敬磊，吳芳.交通流數(shù)據(jù)清洗規(guī)則研究[J].計算機工程，2011，37（20）：191-193.
[3]秦玲，郭艷梅.吳鵬.斷面交通檢測數(shù)據(jù)檢驗及預(yù)處理關(guān)鍵技術(shù)研究[J].公路交通科技，2006（11）：39-41.
[4]Turochy R.E and Smith B.L.New procedure for detector data screening in traffic management systems[J].Transportation Research Record，2000，No.1727：127-131.
[5]Jacobson L.N.，Nihan N .L.and Bender J.D.Detecting erroneous loop detector data in a freeway traffic management system[J].Transportation Research Record，1990，1287：151-166.
[6]Chen C.，Kwon J.，Rice J.，et al.Detecting errors and imputing missing data for single-loop surveillance systems [J].Transportation Research Record，2003，No.1855：160-167.
[7]周興強.RFID數(shù)據(jù)流清洗技術(shù)及其系統(tǒng)實現(xiàn)[D].大連海事大學(xué)，2011，5：1-8.
關(guān)鍵詞：數(shù)據(jù)質(zhì)量;可用性;評估方法
隨著大數(shù)據(jù)時代的來臨，數(shù)據(jù)集合中劣質(zhì)數(shù)據(jù)也隨之大量產(chǎn)生，導(dǎo)致信息數(shù)據(jù)整體質(zhì)量下降，數(shù)據(jù)的有效使用受到了極大限制。為了更加有效發(fā)揮各行各業(yè)大數(shù)據(jù)的作用，開展數(shù)據(jù)可用性研究具有較大的戰(zhàn)略意義。
1 數(shù)據(jù)可用性定義
研究者們普遍認(rèn)為，數(shù)據(jù)的可用性可以從數(shù)據(jù)的一致性、準(zhǔn)確性、完整性、時效性及實體同一性五個方面進行考察，其具體定義如下：
①數(shù)據(jù)的一致性：指數(shù)據(jù)信息系統(tǒng)中各相關(guān)數(shù)據(jù)信息之間相容、不產(chǎn)生矛盾。
②數(shù)據(jù)的準(zhǔn)確性：指數(shù)據(jù)信息系統(tǒng)中每個數(shù)據(jù)表示現(xiàn)實物體的精準(zhǔn)程度。人們對數(shù)據(jù)進行操作的各個環(huán)節(jié)都可能影響數(shù)據(jù)準(zhǔn)確性。
③數(shù)據(jù)的完整性：指數(shù)據(jù)集合包含的數(shù)據(jù)完全滿足對數(shù)據(jù)進行各項操作的要求。
④數(shù)據(jù)的時效性：是指在不同需求場景下數(shù)據(jù)的及時性和有效性。對應(yīng)用系統(tǒng)而言，往往對數(shù)據(jù)時效性要求較高，過時的數(shù)據(jù)即使分析出來了也不會對實際應(yīng)用產(chǎn)生有價值的影響。
⑤實體的同一性：指同一實體在各種數(shù)據(jù)源中的描述統(tǒng)一。
一個數(shù)據(jù)集合，滿足以上五個性質(zhì)的程度稱為該數(shù)據(jù)集合的可用性。
2 評估方法分析
對于數(shù)據(jù)可用性評估，國內(nèi)外研究人員也進行了許多工作。以下從數(shù)據(jù)的一致性、精確性、完整性、時效性、實體同一性五個方面進行介紹和分析。
2.1 基于一致性的方法
文獻(xiàn)[1]針對異地備份系統(tǒng)中數(shù)據(jù)持續(xù)變化的情況，設(shè)計并實現(xiàn)了一種基于累積摘要值的一致性檢測方法。該方法解決了傳統(tǒng)一致性檢測需要中斷備份任務(wù)的問題，保證了備份任務(wù)的連續(xù)性，并且能夠迅速檢測本地服務(wù)器和遠(yuǎn)程備份中心數(shù)據(jù)的一致性，提高了一致性檢測的效率。
文獻(xiàn)[2]從已有的一致性維護方法出發(fā)，針對海量數(shù)據(jù)多副本之間一致性維護，從一致性維護過程中所涉及的更新、更新傳播方式、更新傳播內(nèi)容、更新沖突解決等幾個方面進行了分析，提出了相應(yīng)的解決辦法。
文獻(xiàn)[3]針對p2p分布存儲系統(tǒng)中大型數(shù)據(jù)對象面臨的數(shù)據(jù)一致性問題，提出了數(shù)據(jù)一致性維護方法plcp。該方法從提高更新傳播速度和減少日志空間開銷的角度進行了數(shù)據(jù)優(yōu)化。同時針對數(shù)據(jù)更新的問題和關(guān)鍵屬性更新的問題，提出數(shù)據(jù)一致性維護方法dacp和kacp。
文獻(xiàn)[5]從無線傳感網(wǎng)絡(luò)數(shù)據(jù)安全的角度，結(jié)合一些廉價的保護技術(shù)，提出了利用跨層一致性評估信息整體質(zhì)量的方法。
基于數(shù)據(jù)一致性的方法，主要體現(xiàn)在集中存儲方面，對于分布式和非關(guān)系數(shù)據(jù)方面研究還較少，適用于海量數(shù)據(jù)的一致性評估方法有待進一步探索。
2.2 基于精確性的方法
數(shù)據(jù)精確性方面的研究結(jié)果比較少見，文獻(xiàn)[6]從精確度低的角度，提出了對應(yīng)的精確性評估算法。該算法考慮了一種基于可能世界語義的描述方法。目前的研究結(jié)果顯示，數(shù)據(jù)精確性的評估方法還有待研究者們深入探究。
2.3 基于完整性的方法
針對海量關(guān)系數(shù)據(jù)中普遍存在的數(shù)據(jù)不完整現(xiàn)象，劉永楠等研究了關(guān)系數(shù)據(jù)完整性度量問題。針對數(shù)據(jù)的完整性計算問題，提出了數(shù)據(jù)完整性計算模型，以及精確算法和基于均勻抽樣的近似算法。理論分析證明了近似算法可以達(dá)到任意的精度要求，可以高效地對數(shù)據(jù)完整性進行計算，通過在dblp數(shù)據(jù)上的實驗驗證了算法的有效性和高效性。
在具體應(yīng)用領(lǐng)域，張少敏等利用iec61970對智能電網(wǎng)進行信息集成，然后根據(jù)完整性定義，對智能電網(wǎng)數(shù)據(jù)進行自動機建模，給出了一種無需對數(shù)據(jù)進行直接操作的數(shù)據(jù)完整性定量評估模型。
barcelo p等將傳統(tǒng)的完整性理論擴展到xml數(shù)據(jù)上，討論了不完整xml數(shù)據(jù)的表示問題。
另外，針對云存儲服務(wù)中數(shù)據(jù)的完整性問題，一些研究者提出了pdp 和por。這兩種方案都采用了概率性證明思路，即存儲服務(wù)提供商向數(shù)據(jù)擁有者證明其完整的持有數(shù)據(jù)擁有者存儲的數(shù)據(jù)。
基于數(shù)據(jù)完整性評估方面的結(jié)論還較少，特別是具有普遍適用價值的方法，還有待進一步研究。
2.4 基于時效性的方法
文獻(xiàn)[7]針對歷史評價數(shù)據(jù)時效性會影響評價計算準(zhǔn)確性的問題，引入了評價數(shù)據(jù)的時間屬性，構(gòu)造了評價數(shù)據(jù)衰減因子，減小了時效性對于評價計算準(zhǔn)確性的影響。
文獻(xiàn)[8]研究了包含冗余記錄的集合在給定時效約束下的時效性判定問題，并首次提出了時效性判定問題的求解算法.
在建筑能耗領(lǐng)域，文獻(xiàn)[9]通過對幾類典型公共建筑能耗數(shù)據(jù)的統(tǒng)計分析對比，提出了采用近1年的能耗數(shù)據(jù)作為統(tǒng)計樣本的建議。
基于時效性方面的研究非常匱乏，已有的少量研究結(jié)論都主要針對一些特殊應(yīng)用，還需深入系統(tǒng)的研究。
2.5 基于實體同一性的方法
實體同一性是數(shù)據(jù)可用性研究較多的一個方面，實體同一性研究主要涉及兩類方法：第一類是從語義規(guī)則的角度進行同一性研究，這類方法主要通過經(jīng)驗知識來描述實體的同一性問題;第二類是從相似性的角度進行同一性研究，該類方法主要采用相似度函數(shù)來對實體同一性進行判定。
