我們生活在一個每天收集大量資料的世界裡。例如，每分鐘大約有48小時的影片上傳到YouTube。但重要的不是資料量；重要的是組織和企業如何處理資料。隨著資料的快速增長，儲存和處理資料成為一項具有挑戰性的任務。從商業角度看，資料是王道。分析是新的“科學女王”。資料探勘是從資料中發現知識的工具。

什麼是大資料(big data)？

大資料以前是指從網際網路上挖掘或生成的數PB級的非結構化資料塊。實際上，“大資料”這一術語在其當前的形式中似乎最早出現在20世紀90年代末，第一篇學術論文是由francisx在2003年發表的。Diebolt–“巨集觀經濟測量和預測的大資料動態因素模型”。大資料時代是透過迅速膨脹的資料量來認識的，遠遠超出了大多數人的想象。在大資料時代開始之前，組織對資料的重視程度相對較低。但隨著資料的爆炸式增長，這種為獲取潛在未來價值而收集和儲存資料的投資已經發生了變化。目前已知90%的大資料都是在過去幾年裡積累起來的。大量的技術創新和智慧**的使用正在推動資料的急劇激增。所以簡單地說，大資料反映了我們生活的這個快速變化的世界。

什麼是資料探勘(data mining)？

現在我們正處於大資料時代，最大的挑戰不是獲取資料，而是獲取正確的資料，利用計算機來擴充我們的知識，識別我們以前無法識別的模式。原始形式的資料沒有價值。資料積累的速度比我們分析和處理如此大的資料集以便做出決策的能力增長得更快。數兆位元組或數兆位元組的資料每秒湧入我們的計算機網路。需要強大而通用的工具來自動過濾大量的資料，發現有價值的資訊，並最終將這些資料轉化為有組織的知識。這種必要性導致了資料探勘的誕生。因此，資料探勘就是將資料轉化為知識。資料探勘試圖找到以前找不到的資料元素之間的關係和關聯。它是在大量資料儲存中發現模式、異常和相關性，並將這些資料轉化為可操作的知識的過程。

資料探勘與大資料的區別

定義

–大資料是一個包羅永珍的術語，是指收集和隨後分析可能包含傳統方法和工具無法發現的隱藏資訊或見解的巨大資料集。傳統計算系統需要處理和分析的資料量很大。

資料探勘是在海量資料中轉換資訊和可操作見解的過程。它是在大量資料儲存中發現模式、異常和相關性，並將這些原始資料轉化為有組織的知識的過程。

目的

–大資料是指使用預測分析、使用者行為分析或其他資料分析方法，從大小超過常用軟體工具捕獲、管理和處理能力的資料中提取價值。其目的是從多樣化、複雜和大規模的資料集中發現見解。

資料探勘試圖找到以前找不到的資料元素之間的關係和關聯。資料探勘是一種知識挖掘，是指如何利用原始資料生成某種可用於決策的知識。它試圖從已有的資料中找到隱藏的模式。

特點

–大資料可以由三個主要屬性或特徵來定義，即三個V：多樣性、容量和速度。這些是理解我們如何衡量大資料的關鍵。多樣性是指各種資料型別，如結構化、半結構化和非結構化資料；體積是指產生的大量資料；速度是指資料產生的速度。

資料探勘類似於搜尋，但它不是搜尋或查詢資料；它被應用於各種形式的資料，以發現有趣的模式，而不是從資料庫的結果。

用例

–今天日常生活中的各個領域都在使用大資料來簡化資料的儲存和處理過程。大資料用例的許多例子包括金融服務、航空公司和卡車運輸公司、醫療保健部門、電信和公用事業、媒體和娛樂、電子商務、教育、物聯網等。

資料探勘的應用是明智和多樣的。一些基本應用包括電子商務中的產品推薦、網頁分析、股市預測、醫療資料探勘等。資料探勘是機器學習和人工智慧應用的基礎。

資料探勘與大資料：比較圖

總結 - 資料探勘技術(of data mining) vs. 大資料(big data)

大資料是指可能包含傳統方法和工具無法發現的隱藏資訊或見解的大型資料集。傳統計算系統需要處理和分析的資料量很大。資料探勘是將原始資料轉化為知識，因為原始形式的資料沒有價值。資料探勘試圖發現資料元素之間的關係和關聯，從而可以用來做出有效的決策。