數據挖掘技術在WEB的運用論文

一、數據挖掘的背景

互聯網、計算機資訊技術迅猛的發展勢頭，數據從結構化存儲以及轉化爲非結構化的存儲，數據存儲形式的轉變，不同數據類型的存儲變多，音頻、視頻等大格式的資訊存儲在多個應用中實現。行業中的計算機化、資訊化和網絡化，使計算機和服務器上積累了各種各樣海量的數據。傳統的人工分析已經不能滿足和適應如此大量的數據，各行各業都產生了巨大數據資訊，包括生產加工、研究、物流運輸、客戶、營銷、售後等數據，人們卻不知道怎麼利用這些數據實現價值的增長。如果能將這些數據進行挖掘分析，很可能會產生巨大的商業價值，很多有價值的資訊可以被發現。現在，越來越多的公司和企業意識到數據挖掘的重要性，但是怎麼能從如此海量的數據中挖掘出有價值有用的資訊，已經成爲研究的熱門話題。在傳統的數據分析基礎上，相關人員結合新開發人工智能和數據挖掘等相關的技術，數據庫孕育而生，讓我們能從海量的數據中挖掘出有價值的資訊，促使資訊化的發展，稱之爲數據挖掘。

二、數據挖掘的過程

1、數據收集。將要進行數據分析的海量數據資源收集到數據倉庫中。把不同來源、格式、特點性質的數據在邏輯上或物理上有機地集中，抽象出分析相關的數據，進行非結構化數據的分類，篩選出不相關或者無價值的數據，減少數據集的容量。

2、數據清洗和轉換。數據清洗是爲了刪除掉無用的數據資訊。數據轉換的目的最直接的是把所有資訊統一化。將完整，有效的資訊存入數據倉庫。

3、模型建立。模型建立是數據挖掘的核心階段。首先，要和相關領域的專家組成團隊，進行需求分析，明確數據挖掘的目的和具體的數據挖掘任務。根據不同的任務，選擇相關算法，利用這些算法來建立模型，再用專業的模型評估工具比較模型的準確度。即使是同一種算法，參數選取的不同，所建模型的'準確度也不一樣。

4、模型評估。從商業角度來講，模型評估是對我們所建立的預測模型的正確性進行價值評估，如若模型中模式無價值，就要重複數據挖掘過程中的2～4步，即數據清洗和轉換、模型建立。

5、知識表示。將數據挖掘最後的結果以最直觀的方式呈現給用戶，通常用數據圖形展示工具來表示。

6、應用集成。將數據挖掘集成到現實的實際應用中。例如，CRM中有了數據挖掘功能，就可以對客戶進行等級分類。

7、模型管理。根據不同數據模型的生命週期做好數據應用和管理。

三、WEB數據挖掘

基於WEB內容的挖掘就是針對網頁內容進行數據挖掘，透過用戶對網頁訪問的交互，留下的數據資訊進行收集分類，完成數據挖掘。目前對文字內容的挖掘技術取得了一定的成果，對圖像、音頻、視頻等各種多媒體數據的數據挖掘技術都開始採用非結構化大數據應用技術來完成。基於WEB結構的挖掘是發現頁面、文檔和WEB的結構，主要是發現WEB潛在的結構模式，利用分析這些結構我們可以得到很多潛在有價值的資訊。基於WEB使用的數據挖掘，即針對用戶的訪問網頁的軌跡收集分析。WEB內容的挖掘和結構的挖掘面對的主要挖掘對象是大規模的軌跡數據，對挖掘數據進行分析可以讓管理者瞭解用戶的不同需求，從而爲用戶提供個性化的服務。

四、數據挖掘在WEB中個性化定製的應用

透過網站與用戶的交互，可以得到用戶訪問的內容、時間、方式、頻率等，從中發現潛在的商業價值，透過價值數據進行數據挖掘以及算法分析得出商業結論。就可以根據挖掘到的資訊對這些客戶進行特定的推銷策略，進行個性化定製。在商業領域中，透過對相似軌跡數據的客戶進行分類，分析他們的共性，幫助管理者發現不同客戶的需求和興趣，提供適宜各類人的服務。按照不同用戶的不同興趣和愛好，向用戶提供動態的瀏覽建議。對大多數用戶來說，如果可以訪問該網站可以體會到量身定做的服務，那麼數據挖掘個性化定製就成功完成了。

五、數據挖掘技術在WEB中的應用

網站的功能設計及其版面的內容直接影響到網站的訪問率。相關人員發現用戶的需要和興趣，對需求強烈的地方提供優化，使用數據挖掘去發現頁面間的關聯，針對不同的用戶動態調整網站的設計和連結，使用戶可以便捷地訪問到自己想要訪問的頁面。將數據挖掘技術的在WEB中的應用，吸引更多的用戶。隨着數據挖掘技術在WEB中的應用，用戶可以透過分析挖掘的結果瞭解各種客戶的需求和喜好，得到各種定製個性化服務。隨着互聯網上軌跡數據資訊量的急速增長，不斷複雜化的數據結構，挖掘技術也面臨着一系列新的問題和挑戰。

參考文獻：

[1]胡繼平、數據挖掘技術[J]、景德鎮高專學報，1998

[2]NguyenT，SrinivasanV、AccessingrelationaldatabasesfromtheWorldWideWEB、In：ProcofIEEEDataEngineering[J]、NewOrleansLouisiana，2006