Болжамды аналитка есептерін шешуге арналған құралдар

Болжамды аналитикаға қатысты терминдердің бірі Data Mining себебі, Data Mining қолданылатын әдістердің көбі болжамды аналитикада да қолданылады.

Data Mining технологиясында қолданылатын аналитикалық әдістердің көбі белгілі математикалық әдістер мен алгоритмдер болып табылады. Сонымен қатар, Data Mining әдістерінің көбі жасанды интеллект теориясы шеңберінде құрылған.

Data Mining есептері. Data Mining есептерін кейде заңдылықтар (regularity) немесе техникалар (techniques) деп те атайды. Әдетте келесілерді ерекшелейді: классификация, кластеризация, болжау, ассоциация, визуализация, анализ және ауытқуларды анықтау, бағалау, байланыстарға талдау жасау, қорытынды жүргізу.

Data Mining жүйесі бұл сатыда шаблондарды анықтайды. Бұл тәсілді қолдану әсіресе аса үлкен көлемді деректер қорымен жұмыс жасауда пайдалы, себебі, сұраныстарды құру арқылы заңдылықты анықтау күрделі, ол үшін көптеген түрлі нұсқаларды құрып шығу керек.

Еркін іздеу келесі әрекеттер негізінде анықталады:

- шартты логика (conditional logic) заңдылықтарын анықтау;

- ассоциативті логика (associations and affinities) заңдылықтарын анықтау;

- трендттер мен тербелістерді (trends and variations) анықтау.

Заңдылықтарды еркін іздеу нәтижесінде жүйе логикалық ережелер «егер ..., онда ...» жиынтығын құрайды. Мұнда мақсаттық айнымалыны беру керек.

Еркін іздеу сатысы шеңберіндегі жүйе әрекеті

- шартты логика ережесінің индукциясы (Кластерлеу және кластеризациялау ережесі, жақын және ұқсас объектілер тобын ықшам формада сипаттау);

- ассоциативті логика ережесінің индукциясы (ассоциация және тізбектілік есебі және олардан алынған ақпарат);

- трендттер мен тербелістерді анықтау (болжам есебінің бастапқы кезеңі).

Еркін іздеу сатысында заңдылықтар валидациясы да жүзеге асуы мүмкін, яғни заңдылықтарды қалыптастыруда қатыспаған деректер бөлігін тексеру. Деректерді оқыту және тексеру жиынтығына бөлу тәсілі нейрондық желілер және шешімдер ағашы әдістерінде қолданылады.

Саты 2. Болжамалы үлгілеу (Predictive Modeling). Бұл кезеңде бірінші кезеңнің нәтижесі қолданылады. Анықталған заңдылықтар болжам жасау үшін қолданылады.

Болжамалы үлгілеу келесі әрекеттерден тұрады:

- белгісіз шамаларды болжау (outcome prediction);

- үрдістер дамуын болжау (forecasting).

Болжамалы үлгілеу үрдісінде классификация және болжау есептері шығарылады. Классификация есебін шешу кезіндегі бірінші сатының жұмыс нәтижесі (ережелер индукциясы) жаңа объектіні нақтылы бір ықтималдықпен белгілі мәндер негізінде алдын ала анықталған кластардың біріне жатқызылу керек.

Болжау есептерін шешу кезіндегі бірінші сатының жұмыс нәтижесі (тренд немесе тербелістерді анықтау) мақсаттық айнымалының (айнымалылардың) белгісіз (қалып қалған немесе кейінгі) мәндерін болжау үшін қолданады.

Еркін іздеу (1-ші саты) жалпы заңдылықтарды анықтайды. Ол өзінің табиғаты бойынша индуктивті. Бұл сатыда қалыптасқан заңдылықтар дербестен жалпыға қарай қалыптасады. Нәтижесінде кластың жеке өкілдерін зерттеу негізінде қандай да бір объектілер класы туралы жалпы білім алады.

Болжамалы үлгілеу (2-ші саты), керісінше, дедуктивті. Бұл сатыда қалыптасқан заңдылықтар жалпыдан дербеске қарай қалыптасады. Мұнда қандай да бір объект немесе объектілер туралы жаңа білімді төмендегілер негізінде алады:

- зерттелінетін объектілер жататын класс жайлы білу;

- объектілер класы шеңберінде жұмыс жасайтын жалпы ережелерді білу.

Осылайша алынған заңдылықтар, нақтырақ айтқанда, конструкциялар, аналитик түсіндірмесімен сай немесе сай емес те болуы мүмкін. Ондай жағдайда оларды «қара жәшіктер» деп атайды. Оның мысалы ретінде нейрондық желілерді келтіруге болады.

Саты 3. Ерекшеліктер талдауы (forensic analysis). Data Mining