Оценка качества поиска информации
Автор: lukanovaliza • Июнь 7, 2018 • Лабораторная работа • 558 Слов (3 Страниц) • 1,003 Просмотры
Московский авиационный институт
(Национальный исследовательский университет)
Факультет № 3.
Системы управления, информатика и электроэнергетика.
Кафедра 304.
Отчет по работе
по учебной дисциплине
«Информационный менеджмент»
на тему
«Оценка качества поиска информации»
Группа:
М30-110Б-17
Выполнила:
Луканова Е.А.
Москва 2018
Исходные данные: поисковая система «Google».
Оценивается поиск книги: «Задачи и упражнения по математическому анализу для втузов. Под редакцией Б.П.Демидовича»
Оцениваются полученные данные после ввода в поисковую систему Google запроса: «Задачи и упражнения по математическому анализу для втузов Демидович».
Система нашла 14500 результатов, проведена выборка в 30 штук.
Основные категории документов в ответах системы при первом запросе:
Обозначение | Наименование | Количество (шт) |
а | Количество документов, найденных системой и релевантных запросу. | 9 |
b | Количество документов, найденных системой, но не релевантных запросу. | 20 |
с | Количество релевантных документов, не найденных системой. | 1 |
d | Количество нерелевантных документов, не найденных системой | 0 |
Метрики оценки качества работы системы:
Наименование метрики | Формула подсчета | Численное значение (%) |
Полнота (recall) | [pic 1] | 90 |
Точность (precision) | [pic 2] | 31 |
Аккуратность (accuracy) | [pic 3] | 30 |
Ошибка (error) | [pic 4] | 70 |
Полнота и точность в одной метрике (F-measure) | [pic 5] | 46,1 |
Для оценки качества поиска запрос системе меняется на запрос: «Задачи по математическому анализу Демидович».
При таком запросе количество найденных документов увеличилось до 15000 штук.
Проведена выборка в 30 штук.
Обозначение | Наименование | Количество 11IT. |
а | Количество документов, найденных системой и релевантных запросу. | 11 |
b | Количество документов, найденных системой, но не релевантных запросу. | 18 |
с | Количество релевантных документов, не найденных системой. | 1 |
d | Количество нерелевантных документов, не найденных системой | 0 |
Метрики оценки качества работы системы:
Наименование метрики | Формула подсчета | Численное значение (%) |
Полнота (recall) | [pic 6] | 91,7 |
Точность (precision) | [pic 7] | 37,9 |
Аккуратность (accuracy) | [pic 8] | 36,7 |
Ошибка (error) | [pic 9] | 63,3 |
Полнота и точность в одной метрике (F-measure) | [pic 10] | 53,6 |
Усреднение множественных метрик (макроусреднение):
Наименование метрики | Формула усреднения | Численное значение (%) |
Полнота (recall) | [pic 11] | 90,85 |
Точность (precision) | [pic 12] | 34,45 |
Аккуратность (accuracy) | [pic 13] | 33,35 |
Ошибка (error) | [pic 14] | 66,65 |
Полнота и точность в одной метрике (F-mcasure) | [pic 15] | 49,85 |
...