大數據自動分析與數據挖掘探討的論文

近些年來，資訊科技和網絡的通信技術已經得到了飛速的發展，並且全國的資訊基礎設施也得到了完善，在全球的數據已經呈現出了極速增長的模式狀態。在此種情況下，傳統的數據處理方式已經滿足不了現代化的處理需求，因此需要利用大數據的自動分析和數據挖掘來實現對數據的有效分享和利用。大數據科學已經成爲了一個橫跨資訊科學、社會科學以及網絡科學的新型交叉學科，受到了學術界的廣泛關注。

一、遙感大數據的概述以及特徵

在現代社會當中，遙感大數據已經成爲了大數據的重要代表，成爲了科學研究方面的重點研究方面，但是在現階段當中還需要對其科學理論和方式進行不斷的深入研究。遙感大數據具有大數據的特徵，並且也具有自身獨特的特徵。在外部特徵方面，首先具有海量的特徵。遙感大數據的數據具有海量的特點，並且對着遙感技術的不斷髮展，在現階段當中的高分辨率和高動態的新型衛星傳感器在單位時間之內可以捕獲到更多的數據量；其次還具有數據異構的特點，也就是說在數據生產過程當中所依賴到的業務系統之間會呈現出的不同狀態，都需要由不同的數據中心來進行提供的，並且在邏輯結構或者組織方式上也呈現出了不同的特點；另外，還具有數據多源的特點，集中體現在數據的來源和捕獲資訊的手段方面，是可以擁有多種獲取形式的，包括全球的觀察網絡點接收到的實時資訊，以及民衆手中的用戶端的個性化資訊。在內部特徵方面，首先具有高維度性的特點，遙感大數據的數據類型呈現出了多樣化的特點，因此數據當中的維度也變得越來越高，集中體現在了空間維度、時間維度以及光譜維度等。其次還具有多尺度性的.特點，成爲了遙感大數據的重要特點，也就是說在進行數據的獲取過程當中，可以根據不同的遙感技術和相對應的技術水平，來進行有效的劃分，在空間和時間上呈現出多尺度的特點。另外，還具有非平穩性的特點，由於遙感大數據廣泛的獲取方式和物理意義，在資訊理論的角度上來說，就屬於典型的非平穩信號，呈現出分佈參數或者規律隨時發生變化的特點。

二、遙感大數據的自動分析和數據挖掘

2.1自動分析。首先，需要對遙感大數據的表達進行了解，在這個過程當中需要抽取多元化的特徵來進行表示，從而建立起遙感大數據的目標一體化，在研究過程當中主要包括對遙感大數據的多元離散特徵的有效提取，形成在不同的傳感器當中的提取方式和方法。還要對若干大數據的多元特徵進行歸一化的表達，從而提升對大數據的處理能力和處理效率。其次就需要對遙感大數據進行相關的檢索，在檢索過程當中，需要利用網絡化和集成化的方式進行檢索，制定出基礎設施的計劃，提升對其數據的訪問和檢索效率。並且針對海量的遙感大數據來會說，需要檢索出符合用戶需求和感興趣的內容和數據，就需要對數據內容進行比對，從而判斷出用戶所需要的內容，從大量的數據當中進行快速的檢索到目標。在檢索的過程當中，發展知識驅動的遙感大數據的檢索方式是最有效的方式之一，可以分爲場景檢索服務、多源海量複雜場景數據的智能檢索以及資訊數據的檢索等。另外，就是對遙感大數據的理解的，透過遙感大數據的科學，可以實現數據向知識的有效轉變，在這個過程當中就需要根據遙感大數據本身的特徵和數據檢索的方式來對數據內容實現有效的提取。最後就是遙感大數據雲的技術，可以將各種方式的遙感資訊資源進行有效的整合，建立起遙感雲服務的相關新型業務應用和服務模式，可以將在天空當中的傳感器所捕捉到的資訊透過軟件的計算和整合來實現數據資源的有效存儲和處理，從而使得用戶可以在很快的時間之內獲取到有效的服務。

2.2數據挖掘。首先需要對遙感大數據的數據挖掘過程進行了解，包括數據的獲取、存儲以及處理和整合等，在整個過程當中都具有大數據的特點。在進行捕獲數據的過程當中可以從各種不同的傳感器當中進行獲取，然後對數據進行採樣和過濾，之後就可以對採集到的數據進行處理和分析，最後將其數據用可視化的模式進行顯示，方便了客戶的使用和利用。其次，就是遙感大數據和廣義的遙感大數據的綜合挖掘的過程，利用此種方式，一方面可以與其他的數據方式形成良好的互補關係，另外一方面也可以對其數據當中的變化規律以及其他資訊進行更好的挖掘和採集。在廣義的遙感時空大數據當中，存儲的費用是相當昂貴的，並且在數據的分析能力方面也存在嚴重不足的現象，因此在現代社會的智慧城市的建設過程當中發揮不了其巨大的作用，因此需要利用其他自動化的數據智能處理和挖掘的方式來對其空間地理分佈的數據進行全新的挖掘和過濾。在時空分佈的視頻數據挖掘過程當中，在對智能數據進行處理和資訊提取的同時，還要透過時空當中所分佈的視頻數據進行自動化的區分，來有效的區分正常和非正常的狀態。在對時空數據的挖掘過程當中，主要可以從時空數據當中進行提取出隱藏的有用的資訊知識，利用各種綜合性的方式和方法，比如統計法、聚類法、歸納法以及雲理論等。在遙感大數據的挖掘應用方面，可以適用於地球各種尺度和方位的變化，還可以在很大程度上對未知的資訊進行良好的篩選和挖掘，推動國家的科學技術的發展，實現社會的可持續化發展。

綜上所述，在不斷的發展過程當中，我國的遙感數據的種類和數量將呈現出飛速增長的模式，在很多方面以及領域當中已經開展了遙感大數據的研究工作。值得注意的是，現階段當中需要將遙感大數據的理論知識進行實踐化的轉變，從而實現遙感大數據的自動分析和數據挖掘功能，推動科學資訊的不斷進步。

參考文獻

[1]宋維靜,劉鵬,王力哲,等.遙感大數據的智能處理:現狀與挑戰[J].工程研究-跨學科視野中的工程,2014,(3):259-265.