Большие данные

Большие данные. Что из себя представляют большие данные, какой интерес они представляют с настоящее время и каково их развитие в будущем?

Большие данные – это совокупность подходов, методов и инструментов по работе с полным объемом разнородных не связанных между собой данных, с целью извлечения выгоды для бизнеса. (3)

Большие данные используются мировыми лидерами в сфере бизнеса и IT, что связано огромным количеством постоянно обновляющейся информации. Для ее анализа и получения выгоды из представленных данных ведется поиск оптимального управления ими, в чем и помогает Big data.

Чтобы определить, какие данные мы можем назвать большими, следует назвать признаки, отличающие Big data от остального вида данных.

Для начала можно упомянуть о 3V, означающее "volume, variety and velocity"

Первый указанный признак – объем информации. Следует учитывать, не только то, что в этом объеме уже есть огромное количество информации, но и то, что ее количество может и, вероятнее всего, будет расти, изменяться. Обычно, объем больших данных измеряется в терабайтах и даже петабайтах.

Вторым признаком является разнообразие и разнородность данных. Суть этого признака в том, что данные не связаны, они имеют различный тип. Как, допустим, целочисленные и вещественные значения, дата и координаты. Разнообразие типов данных представляет собой проблему, когда их нужно свести в один массив, но с каждым днем количество информации только увеличивается.

Обязательным условием является отсутствие очевидной связи между подразделами в больших данных. Полезность больших данных раскрывается тогда, когда начинается анализ и обработка представленных данных. Тогда раскрываются новые связи, зависимости, которые позволяют вводить новые функции и решать поставленные задачи иным образом.

Для работы с нетипичными по структуре вопросами нужна среда, способная связывать, хранить и отображать неструктурированные данные, где для обработки данных используется не одна высокопроизводительная машина, а целая группа таких объединенных машин.

Так же важным признаком больших данных является скорость. Скорость при создании, обработке большого количества несвязных данных должна быть высока, чтоб вывод результата был быстрым.

При этом следует учитывать, что большие данные – это набор данных, представленных в полном объеме всей возможной информации, а не только какой-то