Анализ DeepSat (SAT-4) Airborne Dataset

1. Общая информация по данным: источник, кем предоставлены, когда и для каких задач могут использоваться.

(Общее описание дататасета DeepSat (SAT-4) Airborne Dataset)

Датасет состоит из изображений, которые были извлечены из набора данных Национальной программы создания изображений сельского хозяйства (NAIP), который в свою очередь состоит в общей сложности из 330 000 сцен, охватывающих всю континентальную часть Соединенных Штатов (CONUS), и представляющих собой изображения ~ 6000 пикселей в ширину и ~ 7000 пикселей в высоту, размером около 200 мегабайт каждый.

Для составления датасета были извлечены фрагменты изображений 28*28 пикселей из множества сцен (всего 1500 фрагментов изображения), охватывающих различные ландшафты, такие как сельские районы, городские районы, густо покрытые лесом, гористая местность, водоемы, сельскохозяйственные районы и т. д., охватывающие весь штат Калифорния.

Содержание датасета

1. Каждый образец изображения является 4-х канальным(красный, зеленый, синий и ближний инфракрасный) и имеет размер 28x28 пикселей.
2. Все изображения разбиты на 4 класса представляющие собой 4 обширных почвенных покрова: бесплодные земли, деревья, луга и класс, который состоит из всех классов почвенного покрова, отличных от трех вышеупомянутых.
3. Обучающие и тестовые метки представляют собой векторы размером 1x4.
4. Обучающий и тестовый наборы данных принадлежат непересекающемуся набору фрагментов изображений.
5. После создания обучающий и тестовый наборы данных были рандомизированы с использованием генератора псевдослучайных чисел.

2. Описание целевой задачи анализа данных исходя из данных

Определение 1-го из 4-х типов местности (бесплодная земля, деревья, луга и другая) на изображении.

3. Метаинформация: формат, количество атрибутов и векторов, типы атрибутов, классы и т.п.

Формат данных: csv-файлы.

Количество векторов: 400000 обучающих, 100000 тестовых

Количество атрибутов: 28*28(размер)*4(каналы) = 3136

Тип данных: integer (0...255)

Количество классов: 4 (barren land, trees, grassland and other)

Набор csv-файлов для обучения и тестов:

sat4annotations.csv: описание кодировки классов(barren land, trees, grassland and other) изображений в файлах с метками

X_train_sat4.csv: 400 000 обучающих изображений, 28x28 изображений, каждое с 4 каналами

y_train_sat4.csv: 400 000 обучающих меток, 1x4

X_test_sat4.csv: 100 000 тестовых изображений, 28x28 изображений, каждое с 4 каналами

y_test_sat4.csv: 100 000 тестовых меток, 1x4

Файлы изображений содержат 400 000/100 000 строк  и 3136 столбцов (одно изображение в 4-х каналах записано в 1 строку csv файла)

Файлы меток содержат 400 000/100 000 строк  и 4 столбца (в каждой строке есть 3 нуля и 1 единица, которая показывает принадлежность к 1-му из 4-х классов, описанных в sat4annotations.csv)

Каждая клетка строки обозначает 1 пиксель изображения в 1-м из каналов, и ее значение находится в диапазоне от 0 до 255.

[pic 1]

[pic 2]

4. Ограничения данных: пропущенные значения, аномалии, и т.п..

Пропущенных данных и аномалий не обнаружено.

5. Предлагаемый ML алгоритм (из модуля Apache Spark Mllib) для решения целевой задачи

Так как поставленную задачу можно отнести к разделу «Распознавание образов и классификация», где в качестве образцов выступают изображения, то наиболее подходящим способом решения будет создание и обучение нейронной сети.

Возможные архитектуры нейросетей, для решения данной задачи:

• Перцептрон
• Свёрточные нейронные сети

Алгоритм оптимизации градиентного спуска: Adam