Виявлення знань з текстів - Text Mining

МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ

ДВНЗ «КИЇВСЬКИЙ НАЦІОНАЛЬНИЙ ЕКОНОМІЧНИЙ УНІВЕРСИТЕТ ІМЕНІ ВАДИМА ГЕТЬМАНА»

Інститут інформаційних технологій в економіці

Кафедра інформаційних систем в економіці

Реферат

з дисципліни «Інформаційні технології віртуальних організацій»

на тему: «Виявлення знань з текстів - Text Mining»

Київ – 2018

Зміст

Вступ        3

1.Поняття Text Mining        4

2. Типові стадії і завдання Text Mining        6

3. Основні елементи Text Mining        7

4. Сфери використання технології        9

5. Програмна реалізація        10

Висновки        11

Інформаційні джерела        12

Вступ

Актуальність

Уперше "ручна" техніка Text Mining з'явилася в середині 1980-ої, а в наступне десятиліття розвиток технологій дозволив значно їх удосконалити. У міждисциплінарному сенсі Text Mining лежить на стику пошуку інформації, Data Mining, машинного самонавчання, статистики і комп'ютерної лінгвістики. Необхідність у використанні величезних об'ємів корпоративної інформації, яка існує в неструктурованій формі, відома вже давно, - ще з 80-х років минулого століття. Але спеціальні технології, які дозволяють працювати саме з текстами, а не з кількісними даними, з'явилися тільки у кінці 90-х років. 

Мета: з’ясувати, що таке поняття “Text Mining (виявлення знань з текстів)”.

Завдання: дослідити поняття “Text Mining (виявлення знань з текстів)”,  сфери застосування, структуру поняття.

Ціль: з’ясувати цінність виявлення знань з текстів, актуальність, розкрити його повною мірою.

Об’єкт дослідження: Text Mining (виявлення знань з текстів).

Предмет дослідження: типові стадії і завдання Text Mining, його основні елементи, сфери застосування, програмна реалізація.

Практичне значення обраної теми: важливо оберегти людей від інформаційного перевантаження, перетворити оперативні дані в корисну інформацію так, щоб потрібні дії могли бути прийняті в потрібний час.

1.Поняття Text Mining

Технологія Text Mining є одним з різновидів методів Data Mining і має на увазі процеси витягання знань і високоякісної інформації з текстових масивів. Це зазвичай відбувається за допомогою виявлення шаблонів і тенденцій за допомогою засобів статистичного вивчення шаблонів.

Така технологія глибинного аналізу текстів здатна "просіювати" великі об'єми неструктурованої інформації і виявляти з них тільки найзначиміше, щоб людині не доводилося самому витрачати час на здобич цінних знань "вручну".

Text Mining - це алгоритмічне виявлення і виявлення в "сирих" даних досі невідомих кореляцій і зв'язків, раніше невідомих практично корисних знань, які можна інтерпретувати і використати для ухвалення рішень в різних сферах діяльності людини. Результати Text Mining можуть бути використані для математичного прогнозування, аналізу соціальної обстановки і аналізу ринків.

Технології Text Mining - набір методів, призначених для здобуття інформації з текстів на основі сучасних ІКТ, що дає змогу виявити закономірності, які можуть приводити до отримання корисної інформації і нових знань користувачами. Подібні технології незамінні для витягання знань і грають важливу роль в усій системі управління знаннями.

Як правило, Техt Mining має на увазі процес структуризації ввідних текстових даних, витягання шаблонів із вже структурованих даних, і фінальну оцінку і інтерпретацію отриманих результатів. Коли ми говоримо про "високоякісну" інформацію, мається на увазі, що вона має бути осмисленою, релевантною і цікавою дослідникам.