Термином большие данные сегодня чаще всего называют цифровую неструктурированную информацию, которую современное общество пытается систематизировать и унифицировать, чтобы извлечь из нее максимальную пользу. Объем неструктурированных данных растет экспоненциально, поэтому инструменты их обработки должны быть гораздо более сложными, чем методы, направленные на анализ небольшого количества информации. Большие данные обладают огромными размерами, поэтому их нельзя хранить в памяти лишь одного компьютера. Их хранение и обработка связаны с параллельным использованием сразу нескольких устройств. Для повышения эффективности этого процесса применяются новые алгоритмы и модели распределения данных.
Еще одна проблема, часто возникающая при работе с большими данными, - подавляющую их часть нельзя найти в открытом доступе. Сегодня огромный процент информации, хранящейся в сети, остается защищенным от внимания обычных пользователей. Например, когда речь заходит о государственных данных, лишь небольшая их доля открыта для широкой аудитории. Несмотря на это, объемы общедоступной информации, попадающей под концепцию больших данных, по-прежнему огромны.
Анализ данных - это процесс, во время которого аналитик просматривает имеющуюся в его распоряжении информацию, пытаясь найти в ней какие-либо закономерности либо тенденции, способные в перспективе повысить эффективность той или иной деятельности. Для решения этой задачи обычно используются статистические методы анализа агрегированных и неагрегированных данных. Аналитика - это применение механических или алгоритмических инструментов для поиска ценной информации. Например, анализ разных наборов данных для нахождения значимой корреляции между ними или же прогнозирования будущих результатов. Чтобы итог такой деятельности был максимально качественным, используются статистические и научные методы работы с большими данными.
Добыча данных, или интеллектуальный анализ данных, - термин, придуманный представителями делового мира для обозначения процесса анализа данных, цель которого обнаружение в них неожиданных закономерностей и свойств. Большие массивы данных анализируются с помощью методов, объединяющих инструменты искусственного интеллекта, машинного обучения и баз данных. Результатом такой работы является превращение неструктурированных данных в полезную информацию.
Добыча данных тесно связана с их анализом, описанным выше. Можно сказать, что разница заключается лишь в том, что интеллектуальный анализ данных, если сравнивать его с обычным аналитическим процессом, используется для обработки гораздо больших объемов информации. Причина - маленькие наборы данных не вызывают интереса у тех, кто находится в поиске значимых аналитических идей. Если же информации много, в ней практически всегда можно найти паттерны, представляющие практическую ценность.
При интеллектуальном анализе данных чаще всего используются базы данных (статичная и уже сохраненная информация). Машинное же обучение изначально разрабатывалось в качестве одного из инструментов для создания искусственного интеллекта. Классические алгоритмы, применяемые при добыче данных: поиск ассоциаций, определение кластеров, деревья решений.
Рейтинг разарботчиков BigData на нашем портале.
Все
Технологии
Ликбез
Места
HowTo
Стартапы
Новости
Сервисы
Приложения
