Анализ DeepSat (SAT-4) Airborne Dataset
Автор: Nicki • Март 23, 2023 • Реферат • 769 Слов (4 Страниц) • 176 Просмотры
1. Общая информация по данным: источник, кем предоставлены, когда и для каких задач могут использоваться.
(Общее описание дататасета DeepSat (SAT-4) Airborne Dataset)
Датасет состоит из изображений, которые были извлечены из набора данных Национальной программы создания изображений сельского хозяйства (NAIP), который в свою очередь состоит в общей сложности из 330 000 сцен, охватывающих всю континентальную часть Соединенных Штатов (CONUS), и представляющих собой изображения ~ 6000 пикселей в ширину и ~ 7000 пикселей в высоту, размером около 200 мегабайт каждый.
Для составления датасета были извлечены фрагменты изображений 28*28 пикселей из множества сцен (всего 1500 фрагментов изображения), охватывающих различные ландшафты, такие как сельские районы, городские районы, густо покрытые лесом, гористая местность, водоемы, сельскохозяйственные районы и т. д., охватывающие весь штат Калифорния.
Содержание датасета
- Каждый образец изображения является 4-х канальным(красный, зеленый, синий и ближний инфракрасный) и имеет размер 28x28 пикселей.
- Все изображения разбиты на 4 класса представляющие собой 4 обширных почвенных покрова: бесплодные земли, деревья, луга и класс, который состоит из всех классов почвенного покрова, отличных от трех вышеупомянутых.
- Обучающие и тестовые метки представляют собой векторы размером 1x4.
- Обучающий и тестовый наборы данных принадлежат непересекающемуся набору фрагментов изображений.
- После создания обучающий и тестовый наборы данных были рандомизированы с использованием генератора псевдослучайных чисел.
2. Описание целевой задачи анализа данных исходя из данных
Определение 1-го из 4-х типов местности (бесплодная земля, деревья, луга и другая) на изображении.
3. Метаинформация: формат, количество атрибутов и векторов, типы атрибутов, классы и т.п.
Формат данных: csv-файлы.
Количество векторов: 400000 обучающих, 100000 тестовых
Количество атрибутов: 28*28(размер)*4(каналы) = 3136
Тип данных: integer (0...255)
Количество классов: 4 (barren land, trees, grassland and other)
Набор csv-файлов для обучения и тестов:
sat4annotations.csv: описание кодировки классов(barren land, trees, grassland and other) изображений в файлах с метками
X_train_sat4.csv: 400 000 обучающих изображений, 28x28 изображений, каждое с 4 каналами
y_train_sat4.csv: 400 000 обучающих меток, 1x4
X_test_sat4.csv: 100 000 тестовых изображений, 28x28 изображений, каждое с 4 каналами
y_test_sat4.csv: 100 000 тестовых меток, 1x4
Файлы изображений содержат 400 000/100 000 строк и 3136 столбцов (одно изображение в 4-х каналах записано в 1 строку csv файла)
Файлы меток содержат 400 000/100 000 строк и 4 столбца (в каждой строке есть 3 нуля и 1 единица, которая показывает принадлежность к 1-му из 4-х классов, описанных в sat4annotations.csv)
Каждая клетка строки обозначает 1 пиксель изображения в 1-м из каналов, и ее значение находится в диапазоне от 0 до 255.
[pic 1]
[pic 2]
4. Ограничения данных: пропущенные значения, аномалии, и т.п..
Пропущенных данных и аномалий не обнаружено.
5. Предлагаемый ML алгоритм (из модуля Apache Spark Mllib) для решения целевой задачи
Так как поставленную задачу можно отнести к разделу «Распознавание образов и классификация», где в качестве образцов выступают изображения, то наиболее подходящим способом решения будет создание и обучение нейронной сети.
Возможные архитектуры нейросетей, для решения данной задачи:
- Перцептрон
- Свёрточные нейронные сети
Алгоритм оптимизации градиентного спуска: Adam
...