KDDとデータマイニング

KDD（knowledgediscoveringindatabases）は、コンピュータサイエンスの一分野であり、デジタル化された大量のデータから有用かつ未知の情報（＝知識）を抽出するためのツールや理論を含んでいる。データマイニングとは、特定のアルゴリズムを適用して、データからパターンを抽出することである。とはいえ、KDDとデータマイニングは同じ意味で使われることがあります。

KDDとは？

KDDは、前述のように、生のデータからこれまで知られていなかった興味深い情報を抽出することを扱うコンピュータサイエンスの分野である。KDDは、適切な手法や技法を開発することによってデータの意味を理解しようとするプロセス全体である。このプロセスは、低レベルのデータを、よりコンパクトで、抽象的かつ有用な他の形式にマッピングすることを扱う。これは、短いレポートの作成、データの生成過程のモデル化、将来の事例を予測できる予測モデルの開発によって実現されています。特にビジネスなどの分野では、データの急激な増加により、ここ数十年でパターンの手動抽出が不可能になったと思われるため、KDDは大量のデータをビジネスインテリジェンスに変換するための非常に重要なプロセスになっています。例えば、ソーシャルネットワーク分析、不正検知、科学、投資、**、通信、データクレンジング、スポーツ、情報検索、主にマーケティングなど様々な用途で利用されている。kddは、「来年のウォルマートの高利益達成に役立つ主要製品はどれか？このプロセスにはいくつかの段階があります。アプリケーションのドメインと目的を理解することから始まり、ターゲットデータセットを作成します。次に、データのクリーニング、前処理、縮小、投影が行われる。次に、データマイニング（後述）を用いてパターンを特定する。最後に、発見された知識は、視覚化および/または解釈によって統合されます。

データマイニングとは？

前述したように、データマイニングはKDDプロセス全体の中の1つのステップに過ぎない。アプリケーションの目的には、検証または発見という2つの主要なデータマイニングの目標が定義されている。検証はユーザーのデータに対する思い込みを検証することであり、発見は興味深いパターンを自動的に見つけ出すことである。データマイニングには、主にクラスタリング、分類、回帰、アソシエーション（要約）の4つのタスクがある。クラスタリングは、非構造化データから類似のグループを識別することである。分類は、新しいデータに適用できるルールを学習することである。回帰とは、データをモデル化する際に誤差を最小にする関数を見つけることである。相関は、変数間の関係を見つけることである。そして、具体的なデータマイニングアルゴリズムを選択する必要がある。目的に応じて、線形回帰、ロジスティック回帰、決定木、プレーンベイズなどの異なるアルゴリズムを選択することができる。次に、関心のあるパターンを1つまたは複数の表現で検索する。最後に、予測精度や理解度によってモデルを評価する。

KDDとデータマイニングの違いは何ですか？