Приложение для создания базы данных рецептов посредством парсинга сайтов

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РФ

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ

«НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ТЕХНОЛОГИЧЕСКИЙ  
УНИВЕРСИТЕТ «МИСИС»

Институт информационных технологий и компьютерных наук

Кафедра инженерной кибернетики

Курсовая работа

по дисциплине «Технологии программирования»
на тему

«Приложение для создания базы данных рецептов посредством парсинга сайтов»

Выполнил:

студент 2-го курса,

гр. БПМ-21-3 Северин Я.А.

Проверил:

доцент, к.т.н. Полевой Д.В.

Москва, 2022

Содержание

Техническое задание3

Пользовательская инструкция3

Техническая часть6

Начальные требования6

Инструкция по установке7

Библиотека7

Класс MainWindow10

База данных13

Инструкция по тестированию13

Техническое задание

Приложение для создания базы данных рецептов для разработчиков с помощью парсинга сайтов. В проекте должна быть возможность расширения списка сайтов, которые можно обрабатывать. Для этого используются динамические библиотеки. В данной проекте реализована только одна.

Требования к функциональности приложения:

1. Добавление множества рецептов как вручную, единичными ссылками, так и множественно.
2. Возможность обновления базы данных.
3. Наличие фильтра/поисковика для отображения нужных записей в базе данных.
4. Расширяемость, т.е. возможность интегрирования новых модулей для парсинга разных сайтов.
5. Получить файл с базой данных, который можно использовать другим разработчикам.

Пользовательская инструкция

1. Запустить RecipeParser.exe из папки, куда вы ее установили.
2. Если произведен первый запуск, то (для множественного парсинга) сначала нужно заполнить список ссылок, нажав на кнопку «Обновить/создать список рецептов».

[pic 1]

1.  При необходимости остановить, нажав на кнопку «остановить», подсвеченную красным. [pic 2]
2. По нажатию на кнопку процесс остановится и появится информирующее окно, к котором будет отображено сколько ссылок было получено с сайта. [pic 3]
3. Нажать на кнопку «Занести все ссылки в базу». Процесс так же можно остановить нажатием на ту же кнопку «остановить». [pic 4]
4. Для получения рецепта по единичной ссылке вставьте ссылку в поле в верхнем правом углу, скопировав ее из браузера. [pic 5]
5. Нажмите на кнопку «Получить рецепт по ссылке», после чего рецепт добавится в таблицу, если он уже присутствует, то появится окно предупреждения:
    [pic 6]
6. В поле поиска можно ввести название блюда, выбрав справа соответствующий тип поиска справа от поля поиска (По названию или по ингредиентам), и нажать на «Найти», в таблице появятся все найденные по запросу записи. Или произвести поиск по ингредиентам, так же выбрав нужный тип, ингредиенты можно писать через разделительные символы:  «; , . &».

[pic 7]

[pic 8]

1. Также введя в поле поиска ингредиенты или названия, можно удалить записи по фильтру, нажав на кнопку «Удалить по фильтру». Рекомендуется сначала отобразить найденные записи, а затем удалять, это нужно для того, чтобы не удалить что-то лишнее. Для удаления всей таблицы нужно оставить поле для фильтра пустым и нажать на «Удалить по фильтру», даже если вы нажмете на кнопку по ошибке, то появится окно подтверждения. [pic 9][pic 10]
2. Удаление также можно производить выделением строки (нажать на любое поле в строке) и нажатием на «удалить выбранную строку». [pic 11][pic 12]

Убедиться в исправности программы можно увидев файлы URList.txt и Recipes.db в той же директории, что и RecipeParser.exe. Файл Recipes.db является результатом работы программы, т.е. ее продуктом, который могут использовать другие разработчики.

Техническая часть

Начальные требования для установки

1. CMake версия не ниже 3.5
2. Язык С++ 20 стандарта.
3. Qt не ниже 5 версии.
4. Наличие модуля OpenSSL, который можно установить вместе с Qt, выбрав опцию в установщике. OpenSSL так же, как и Qt, должен быть добавлен в переменную среды по пути «../Qt/Tools/OpenSSL-x.x.x/Win_xXX/bin»

Инструкция по установке

1. Клонировать репозиторий https://github.com/ZyNordd/RecipeParse
2. Собрать проект CMake, указав в параметр CMAKE_INSTALL_PREFIX путь в папку, где вы хотите установить приложение, либо по умолчанию произведется установка в папку install, расположенной в папке куда собирается проект. По выбранному пути появятся приложение RecipeParser.exe, Recipes.db, URList.txt и папка dll.
3. Если 2 пункт выполнен, то можно запускать приложение.

Библиотека

Парсер сайта eda.ru

Данная библиотека предназначена для парсинга сайта eda.ru. Содержит 8 функций, 7 из которых нужны для парсинга страницы рецепта, и одна для парсинга главной страницы для получения ссылок на рецепт. Для подключения других библиотек нужно иметь 8 функций с такими же названиями, даже если эти функции будут пустыми (на сайте нет информации для заполнения всех полей).