Сутність інтелектуального аналізу даних. Data mining

Сутність інтелектуального аналізу даних. Data mining.

Синоніми: видобуток даних, вилучення інформації, розкопка даних, пошук закономірностей даних, витяг знань, розкопка знань, промивання даних та інше.

Data mining отримав свою назву с двох понять: 1) пошук цінної інформації у великій базі даних 2) видобуток гірської руди.

Обидва процеси вимагають або просіювання великої кількості сирого матеріалу, або розумного дослідження і пошуку необхідних цінностей.

Поняття іад з’явилося у 1978 році, а в сучасному трактуванні набуло високої популярності с першої половини 90-х років, до того часу обробка і аналіз даних здійснювалося в рамках інших наук, переважно в рамках перекладної статистики.

Знання шо вибудовуються методом data mining прийнято представляти у вигляді закономірностей (кластери, асоціативні правила, дерево рішень, математичні функції).

Алгоритми пошуку таких закономірностей знаходяться на перетині різних областей: Штучний інтелект математична статистика, математичне програмування, візуалізація, розпізнавання  образів, машинне навчання, теорія  баз даних та інше. Все це свідчить що іад це мульти дисціплінарна область.

Статистика це наука про методи збору даних їх обробки і аналізу для виявлення закономірностей властивих досліджуваних явищ. Є сукупністю методів планування експерименту збору даних їх представлення і узагальнення а також аналізу і отримання висновків на підставі всіх даних.

Машинне навчання можна охоректузувати як процес отримання програмою нових даних. Це наука що вивчає комп’ютерні алгоритми є автоматично покращується під час роботи.

Штучний інтелект це науковий напрям в рамках якого ставляться та вирішуються задачі моделювання видів людської діяльності.

Слід також відмітити що кожна с дисциплін які формували іад має певні особливості. Статистика більше ніж інтелектуальний аналіз даних базується на теорії більш концентрується на перевірці гіпофіз. Машине навчання більш евристичне, концентрується на покращенні роботи агентів навчання. Хоч іад і базується на інших дисциплінах використовує їх теорію та сутність але має власні узагальнені характеристики. 1) іад характеризується інтеграцією теорії та евристики 2) іад сконцентрований на єдиному процесі аналізу даних та включає очищення даних, навчання, інтеграцію та візуалізацію результату.

...