從數(shù)據(jù)本身來考慮，通常數(shù)據(jù)挖掘需要有數(shù)據(jù)清理、數(shù)據(jù)變換、數(shù)據(jù)挖掘?qū)嵤┻^程、模式評估和知識表示等8個步驟。

　　摘要：數(shù)據(jù)挖掘是從海量數(shù)據(jù)中提取隱含在其中的有用信息和知識的過程。它可以幫助企業(yè)對數(shù)據(jù)進(jìn)行微觀、 中觀、乃至宏觀的統(tǒng)計分析, 綜合和推理, 從而利用已有數(shù)據(jù)預(yù)測未來, 幫助企業(yè)贏得競爭優(yōu)勢。

　　關(guān)鍵詞：網(wǎng)絡(luò)環(huán)境,電子政務(wù),數(shù)據(jù)挖掘技術(shù),發(fā)表文章網(wǎng)

　　一 數(shù)據(jù)挖掘技術(shù)

　　1 定義

　　簡單的說, 數(shù)據(jù)挖掘就是從現(xiàn)有的大量數(shù)據(jù)中進(jìn)行分析, 從而對未來的發(fā)展做出輔助分析。從更廣義的角度來講, 數(shù)據(jù)挖掘就是在一些事實(shí)或觀察數(shù)據(jù)的集合中尋找模式的決策支持過程。 因此, 挖掘的對象不僅是數(shù)據(jù)庫, 還可以是任何組織在一起的數(shù)據(jù)集合。數(shù)據(jù)挖掘最初針對的是大型數(shù)據(jù)庫, 而電子政務(wù)中的數(shù)據(jù)挖掘技術(shù)是基于網(wǎng)絡(luò)的, 即所謂的網(wǎng)絡(luò)數(shù)據(jù)挖掘, 它除了處理傳統(tǒng)數(shù)據(jù)庫中的數(shù)值型的結(jié)構(gòu)化數(shù)據(jù)外, 處理更多的是文本、 圖形、 圖像、 WWW 信息資源等半結(jié)構(gòu)、 非結(jié)構(gòu)的數(shù)據(jù)。數(shù)據(jù)挖掘在解決實(shí)際問題時, 經(jīng)常要同時使用多種模式。一個數(shù)據(jù)系統(tǒng)或僅僅一個數(shù)據(jù)挖掘查詢就可能生成成千上萬的模式, 但是并非所有的模式都令人感興趣。 因此, 興趣度通常被用來衡量模式的總體價值, 它包括正確性、 新奇性、 可用性和簡潔性。

　　2 功能特性

　　1) 、 自動預(yù)測趨勢和行為: 由歷史的和當(dāng)前的數(shù)據(jù)去推測未來的數(shù)據(jù)。最典型的利用數(shù)據(jù)挖掘進(jìn)行預(yù)測的例子就是目標(biāo)營銷。數(shù)據(jù)挖掘工具可以根據(jù)過去郵件推銷中的大量數(shù)據(jù)找出其中最有可能對將來的郵件推銷做出反應(yīng)的客戶。

　　2) 、 關(guān)聯(lián)分析: 它反映了一個事件和其他事件之間依賴或關(guān)聯(lián)的知識。如果兩項或多項屬性之間存在關(guān)聯(lián), 那么其中一項的屬性值就可以依據(jù)其他屬性值進(jìn)行預(yù)測。 舉個例子: 如果在購買面包和黃油的顧客中, 有很多人同時也購買了牛奶, 這樣可以將面包、黃油和牛奶這些顧客經(jīng)常購買的商品放在一起, 這樣就提高了經(jīng)濟(jì)效益。

　　3) 、 聚類: 如同通常所說的 “物以類聚” , 是把一組個體按照相似性歸成若干類別。 通過聚類, 數(shù)據(jù)庫中的記錄可被劃分為一系列有意義的子集。聚類技術(shù)主要包括傳統(tǒng)的模式識別和數(shù)學(xué)分類學(xué)。

　　4) 、 偏差檢測: 偏差包括很多潛在的知識, 如分類中的反常實(shí)例、 不滿足規(guī)則的特例、觀測結(jié)果與模型預(yù)測值的偏差、 量值隨時間的變化等。 偏差檢測的基本方法是尋找觀測結(jié)果與參照值之間有意義的差別。

　　3 步驟首先, 熟悉背景知識, 弄清客戶的需求。 其次, 要進(jìn)行數(shù)據(jù)挖掘必須收集要挖掘的數(shù)據(jù)資源。把要挖掘的數(shù)據(jù)都收集到一個數(shù)據(jù)庫中, 而不是采用原有的數(shù)據(jù)庫或數(shù)據(jù)倉庫。 再次, 對挖掘的數(shù)據(jù)進(jìn)行分析, 進(jìn)行深入調(diào)查, 從數(shù)據(jù)集中找出規(guī)律和趨勢, 用聚類分析區(qū)分類別, 搞清楚多因素相互影響的、 十分復(fù)雜的關(guān)系, 發(fā)現(xiàn)因素之間的相關(guān)性。 在分析好數(shù)據(jù)集的基礎(chǔ)上, 就可以建立形成知識的模型, 這是進(jìn)行數(shù)據(jù)挖掘最重要的核心環(huán)節(jié), 一般運(yùn)用神經(jīng)網(wǎng)絡(luò)、 決策樹、 數(shù)理統(tǒng)計、 時間序列分析等方法來建立模型。 最后, 我們要對得到的模型進(jìn)行評價, 確定哪些是有效的、 有用的模式。 評價的方法一般有三個: 一種辦法是直接使用原先建立的挖掘數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行檢驗, 另一種辦法是另找一批數(shù)據(jù)并對其進(jìn)行檢驗, 再一種辦法是在實(shí)際運(yùn)行的環(huán)境中取出新鮮的數(shù)據(jù)進(jìn)行檢測。

　　4. 網(wǎng)絡(luò)數(shù)據(jù)挖掘形式多樣根據(jù)不同的網(wǎng)絡(luò)數(shù)據(jù)挖掘?qū)ο? 人們將網(wǎng)絡(luò)數(shù)據(jù)挖掘分為網(wǎng)絡(luò)內(nèi)容挖掘(Web content mining)、 網(wǎng)絡(luò)結(jié)構(gòu)挖掘(Web structure mining)以及網(wǎng)絡(luò)用法挖掘(Web usage mining)。 ( 1) 網(wǎng)絡(luò)內(nèi)容挖掘 網(wǎng)絡(luò)信息內(nèi)容是由文本、 圖像、 音頻、 視頻、 元數(shù)據(jù)等形式的數(shù)據(jù)組成的。網(wǎng)絡(luò)內(nèi)容挖掘就是一個從網(wǎng)絡(luò)信息內(nèi)容中發(fā)現(xiàn)有用信息的過程。由于網(wǎng)絡(luò)信息內(nèi)容有很多是多媒體數(shù)據(jù), 因此網(wǎng)絡(luò)內(nèi)容挖掘也將是一種多媒體數(shù)據(jù)挖掘形式。 ( 2) 網(wǎng)絡(luò)結(jié)構(gòu)挖掘 網(wǎng)絡(luò)結(jié)構(gòu)挖掘就是挖掘 Web 潛在的鏈接結(jié)構(gòu)模式。通過分析一個網(wǎng)頁鏈接和被鏈接數(shù)量以及對象來建立 Web 自身的鏈接結(jié)構(gòu)模式。這種模式可以用于網(wǎng)頁歸類, 并且由此可以獲得有關(guān)不同網(wǎng)頁間相似度及關(guān)聯(lián)度的信息。網(wǎng)絡(luò)結(jié)構(gòu)挖掘有助于用戶找到相關(guān)主題的權(quán)威站點(diǎn)。 ( 3) 網(wǎng)絡(luò)用法挖掘 網(wǎng)絡(luò)內(nèi)容挖掘和網(wǎng)絡(luò)結(jié)構(gòu)挖掘的挖掘?qū)ο笫蔷W(wǎng)上的原始數(shù)據(jù), 而網(wǎng)絡(luò)用法挖掘面對的則是在用戶和網(wǎng)絡(luò)交互的過程中抽取出來的第二手?jǐn)?shù)據(jù), 包括網(wǎng)絡(luò)服務(wù)器訪問記錄、 代理服務(wù)器日志記錄、 瀏覽器日志記錄、 用戶簡介、 注冊信息、 用戶對話或交易信息、 用戶提問方式等。 通過網(wǎng)絡(luò)用法挖掘, 可以了解用戶的網(wǎng)絡(luò)行為數(shù)據(jù)所具有的意義。

　　二. 什么是電子政務(wù)隨著網(wǎng)絡(luò)時代的到來, 在世界各國積極倡導(dǎo)實(shí)施的信息高速公路建設(shè)的五大應(yīng)用領(lǐng)域中, 電子政務(wù)被列居首位。電子政務(wù)是指國家各級政府部門綜合運(yùn)用現(xiàn)代網(wǎng)絡(luò)通訊與數(shù)字化信息技術(shù), 利用國際互聯(lián)網(wǎng)及內(nèi)部局域網(wǎng)完成日常政務(wù)工作。其中包括數(shù)據(jù)的傳遞、 公文的上傳下達(dá)等, 從而轉(zhuǎn)變傳統(tǒng)的工作模式, 實(shí)現(xiàn)政府職能部門工作的辦公信息化、 政務(wù)公開化、 管理一體化及決策科學(xué)化。電子政務(wù)是借助電子信息技術(shù)而進(jìn)行的政務(wù)活動。由于電子政務(wù)是電子信息技術(shù)與政務(wù)活動的交集, 所以它的內(nèi)涵和外延在很大程度上取決于我們對于電子信息技術(shù)和政務(wù)活動所下的定義。電子政務(wù)主要包括三個組成部分: 一是政府部門內(nèi)部的電子化和網(wǎng)絡(luò)化辦公; 二是政府部門之間通過計算機(jī)網(wǎng)絡(luò)而進(jìn)行的信息共享和實(shí)時通信; 三是政府部門通過網(wǎng)絡(luò)與民眾之間進(jìn)行的雙向信息交流。

　　三. 電子政務(wù)離不開數(shù)據(jù)挖掘由于政府的重要職能之一是對國民經(jīng)濟(jì)和社會發(fā)展進(jìn)行宏觀管與調(diào)控, 數(shù)據(jù)類信息的應(yīng)用在各級政府的日常工作中占有重要地位, 這就要求各級政府應(yīng)當(dāng)及時準(zhǔn)確地掌握國民經(jīng)濟(jì)和社會發(fā)展的各類數(shù)據(jù)。有資料表明: 在我國, 各級各類政府部門掌握著全社會的信息資源, 政府是社會信息資源的最大擁有者和應(yīng)用者, 如何讓這些信息資源高效服務(wù)于各級政府機(jī)構(gòu)、 服務(wù)于民成為電子政務(wù)工程建設(shè)中的一項重要的內(nèi)容。政府信息化是社會信息化的基礎(chǔ), 只有政府實(shí)現(xiàn)了信息化, 才能真正實(shí)現(xiàn)社會公共資源的共享, 提高社會資源的運(yùn)作效率, 促進(jìn)整個社會融入信息時代。目前, 電子政務(wù)系統(tǒng)的構(gòu)建, 正經(jīng)歷著由以技術(shù)為中心向以數(shù)據(jù)為中心的方向轉(zhuǎn)變, 沒有數(shù)據(jù)信息, 就沒有政府網(wǎng)站及電子政府。因而, 整合政務(wù)信息資源, 建設(shè)和改造政府系統(tǒng)對內(nèi)及對外的電子信息資源庫, 解決好各類數(shù)據(jù)的傳遞、 應(yīng)用等問題, 勢必成為今后電子政務(wù)建設(shè)的關(guān)鍵所在。電子政務(wù)包括政府的信息服務(wù)、電子貿(mào)易、電子化政府、政府部門重構(gòu)、 群眾參與政府五個方面的內(nèi)容。 將網(wǎng)絡(luò)數(shù)據(jù)挖掘技術(shù)引入電子政務(wù)中, 可以大大提高政府信息化水平, 促進(jìn)整個社會的信息化。數(shù)據(jù)挖掘在電子政務(wù)中主要用來為政府重大政策出臺提供決策支持。如通過對網(wǎng)絡(luò)各種經(jīng)濟(jì)資源的挖掘, 確定未來經(jīng)濟(jì)的走勢, 從而制定出相應(yīng)的宏觀經(jīng)濟(jì)調(diào)控政策。

　　具體體現(xiàn)在以下幾個方面: ( 1) 政府的電子貿(mào)易在服務(wù)器以及瀏覽器端日志記錄的數(shù)據(jù)中隱藏著模式信息, 運(yùn)用網(wǎng)絡(luò)用法挖掘技術(shù)可以自動發(fā)現(xiàn)系統(tǒng)的訪問模式和用戶的行為模式, 從而進(jìn)行預(yù)測分析。 例如, 通過評價用戶對某一信息資源瀏覽所花費(fèi)的時間, 可以判斷出用戶對何種資源感興趣; 對日志文件所收集到的域名數(shù)據(jù), 根據(jù)國家或類型進(jìn)行分類分析; 應(yīng)用聚類分析來識別用戶的訪問動機(jī)和訪問趨勢等。這項技術(shù)已經(jīng)有效地運(yùn)用在政府電子貿(mào)易中。 ( 2) 網(wǎng)站設(shè)計通過對網(wǎng)站內(nèi)容的挖掘, 主要是對文本內(nèi)容的挖掘, 可以有效地組織網(wǎng)站信息, 如采用自動歸類技術(shù)實(shí)現(xiàn)網(wǎng)站信息的層次性組織; 同時可以結(jié)合對用戶訪問日志記錄信息的挖掘, 把握用戶的興趣, 從而有助于開展網(wǎng)站信息推送服務(wù)以及個人信息的定制服務(wù), 吸引更多的用戶。( 3) 搜索引擎網(wǎng)絡(luò)數(shù)據(jù)挖掘是目前網(wǎng)絡(luò)信息檢索發(fā)展的一個關(guān)鍵。如通過對網(wǎng)頁內(nèi)容挖掘, 可以實(shí)現(xiàn)對網(wǎng)頁的聚類、 分類, 實(shí)現(xiàn)網(wǎng)絡(luò)信息的分類瀏覽與檢索; 同時, 通過對用戶所使用的提問式的歷史記錄的分析, 可以有效地進(jìn)行提問擴(kuò)展, 提高用戶的檢索效果; 另外, 運(yùn)用網(wǎng)絡(luò)內(nèi)容挖掘技術(shù)改進(jìn)關(guān)鍵詞加權(quán)算法, 提高網(wǎng)絡(luò)信息的標(biāo)引準(zhǔn)確度, 從而改善檢索效果。 ( 4) 決策支持為政府重大政策出臺提供決策支持。 如, 通過對網(wǎng)絡(luò)各種經(jīng)濟(jì)資源的挖掘, 確定未來經(jīng)濟(jì)的走勢, 從而制定出相應(yīng)的宏觀經(jīng)濟(jì)調(diào)控政策。從世界范圍來看, 電子政務(wù)并未真正得以實(shí)現(xiàn)。英國雖然在這一方面全球領(lǐng)先, 但也僅有 60%的政府機(jī)構(gòu)的互連網(wǎng)服務(wù)網(wǎng)站已開通或正在建設(shè)。隨著電子政務(wù)和網(wǎng)絡(luò)用戶對高品質(zhì)、個性化的信息需求的不斷擴(kuò)大, 將對網(wǎng)絡(luò)數(shù)據(jù)挖掘技術(shù)提出更高的要求, 推動這一技術(shù)不斷地發(fā)展與完善, 更好地為電子政務(wù)服務(wù), 從而提高全球的信息化水平。總而言之, 從整個世界范圍來看, 電子政務(wù)還沒有真正的實(shí)現(xiàn)。各國政務(wù)信息化的進(jìn)度不一、 規(guī)模不同。 隨著電子政務(wù)系統(tǒng)和民眾對高品質(zhì)、個性化信息需求的不斷擴(kuò)大, 以及網(wǎng)絡(luò)相關(guān)技術(shù)的不斷更新, 會對電子政務(wù)系統(tǒng)的建設(shè)提出更高更具體的要求, 這也將推動電子政務(wù)系統(tǒng)不斷地完善, 更好地向著政務(wù)智能化的方向。

　　《網(wǎng)絡(luò)新媒體技術(shù)》雜志經(jīng)國家新聞出版總署批準(zhǔn)，由中國科學(xué)院主管，中國科學(xué)院聲學(xué)研究所主辦，以國家網(wǎng)絡(luò)新媒體工程技術(shù)研究中心為依托的《微計算機(jī)應(yīng)用》期刊，于2012年更名為《網(wǎng)絡(luò)新媒體技術(shù)》及面向全國公開發(fā)行。本刊被《中國核心期刊(遴選)數(shù)據(jù)庫》《中國學(xué)術(shù)期刊(光盤版)》《萬方數(shù)據(jù)數(shù)字化期刊群》《中文科技期刊數(shù)據(jù)庫》等網(wǎng)絡(luò)媒體全文收錄，國內(nèi)外深有影響。