**Большие данные (Big Data)** представляют собой новое качество обычных данных в электронном виде, накопленных в большом объеме в разнообразных информационных системах, корпоративных или государственных сайтах, блогах  
V-модель Больших данных:
- Variety - разнообразие данных, работа с разными источниками
- Volume - объем
- Velocity - скорость поступления или обработки
- Validity - надежность данных, возможность ошибок на каждом этапе
- Value - ценность данных (релевантность, определяется задачей)
- Veracity - один из вариантов надежности, доверие к способам обработки может быть разным, не интерпретируемые методы к нему приводят 
## Использование Больших данных и машинное обучение
Есть миллион медицинских снимков. Что с ними можно сделать?  
Нанять миллион человек? У нас не хватит денег. Мы их не найдем, если это узкие специалисты. Нужно много времени чтобы все посмотреть и сделать выводы.  
Вывод: лучше бы это делать не вручную  
Здесь и возникает машинное обучение - алгоритмы, которые будут просматривать эти снимки и делать выводы
#### Машинное обучение (Machine Learning) и интеллектуальный анализ данных (Data Mining)
Сильно пересекаются (методы в целом одни и те же)  
**Data Mining** - поиск закономерностей в данных  
**Машинное обучение** - эксплуатация этих закономерностей  
Выделяем признаки, которые характеризуют эти снимки. Data Mining интерпретирует признаки, а Machine Learning использует их для автоматического распознавания диагноза  
**Машинное обучение (Machine Learning)** - обширный подраздел ИИ, изучающий методы построения алгоритмов, способных обучаться  
**Искусственный интеллект (Artifical Intelligence, AI)** - раздел информатики, изучающий возможность обеспечения разумных рассуждений и действий с помощью вычислительных систем и иных искусственных устройств  
Сильный ИИ осознает себя, способен самостоятельно мыслить и может заменить человека практически во всех сферах  
Слабый ИИ реализует какие-либо аспекты, похожие на мышление. Например, компьютерное зрение, машинный перевод, голосовые помощники  
## Обучение искусственного интеллекта
#### Обучение без учителя
**Обучение без учителя (самообучение, спонтанное обучение, Unsupervised learning)** - один из способов машинного обучения, при котором испытуемая система спонтанно обучается выполнять поставленную задачу без вмешательства со стороны экспериментатора  
Мы не знаем, что можем получить, у нас нет никаких образцов, которые могут быть использованы, чтобы из этих данных что-то получить, т. е. это поиск закономерностей всех видов  
Методы:
- Методы кластеризации
- Методы поиска закономерностей
- Частотные методы
#### Обучение с учителем
**Обучение с учителем (Supervised learning)** - один из способов машинного обучения, в ходе которого испытуемая система принудительно обучается на обучающей выборке. На основе этих данных требуется восстановить зависимость, т. е. построить алгоритм, эффективно работающий на новых данных (пригодный для прогнозирования)  
У нас есть образцы, по этим образцам мы настраиваем некоторую модель, и эта модель принимает некоторые решения после обучения, для того, чтобы облегчить нам жизнь на новых поступивших данных  
Методы:
- Предиктивные методы
- Методы прогнозирования
- Методы классификации

Эти методы часто используются вместе - мы можем найти закономерности, используя методы без учителя, затем поставить эти методы в обучение с учителем и эту связку эксплуатировать для более-менее автономной работы
## Искусственные нейронные сети
**Искусственные нейронные сети** - математические модели, а также их программные или аппаратные реализации, построенные по принципу организации и функционирования биологических нейронных сетей - сетей нервных клеток живого организма  
В мозгу человека порядка 80-90 млрд нейронов. В искусственных нейросетях - десятки тысяч нейронов
#### Этапы развития искусственных нейронных сетей
- В 50-е годы XX века впервые созданы именно как алгоритм
- В 70-е годы разработаны многие современные алгоритмы
- В конце 90-х годов - сети глубокого обучения  
  
С *математической* точки зрения, обучение нейросетей - это многопараметрическая задача оптимизации  
С точки зрения *машинного обучения*, нейросеть представляет собой частный случай методов распознавания образов, дискриминантного анализа, методов кластеризации и т. д.  
На *технологическом* уровне нейросети используются как черный ящик, который позволяет распознавать образы, используется для тематического перевода и т. д.
## Предпосылки к использованию интеллектуального анализа данных
- Данные имеют неограниченный объем
- Данные являются являются разнородными (количественными, качественными, текстовыми)
- Инструменты для обработки данных должны быть просты в использовании
- Результаты должны быть конкретны и понятны  
  
Примеры:
- Астрофизика, астрономия
- Множество видео
- Социальные сети
## Data Mining
**Data Mining** - это процесс обнаружения в сырых данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретаций знаний, необходимых для принятия решений в различных сферах человеческой деятельности  
Потенциально у нас есть данные, они называются в данном контексте сырыми, они содержат какие-то закономерности, возможно тривиальные.  
Но когда мы их извлекали, мы тратили время, деньги, свое, чужое. Это тоже особенность - когда не знаешь, что получишь  
Задача часто формируется в процессе работы. Это процесс постоянный, интерактивный, со множеством ошибок и нюансов.  
Чтобы этот процесс ввести в определенные рамки, используются стандарты.  
Стандарты есть и для того, что мы называем машинное обучение.  
ИИ, машинное обучение, data mining называют новой отраслью, новой специальностью. Эту отрасль называют **data science - наука о данных**
## Стандарты Data Science
Три стандарта сферы Data Science:
- KDD
- SEMMA
- CRISP_DM  

Эти стандарты показывают, какие именно этапы нужно выполнить, чтобы получить определенный результат. К каждому этапу можно предъявлять разные требования. Алгоритмы на каждом этап тоже свои. В целом они не накладывают ограничений, но позволяют структурировать их и для каждого этапа либо применить классический набор методов, либо понимать, что мы с каждого этапа получим  
Этапы процесса анализа данных по стандарту CRISP-DM:
1. Понимание бизнеса
2. Понимание данных
3. Подготовка данных
4. Моделирование
5. Оценка
6. Развертывание
7. Обратно в п. 1 (на основании новых данных мы можем переобучать модель)  

![Этапы процесса анализа данных по стандарту CRISP-DM](../Pictures/01_01.%20Этапы%20процесса%20анализа%20данных%20по%20стандарту%20CRISP-DM.png)  
## Типы задач анализа данных
1. Поиск частых шаблонов и ассоциативных правил
2. Предикт (предсказание, прогнозирование)
3. Классификация
4. Кластеризация
5. Визуализация
6. Обратно в п. 1  

![Типы задач анализа данных](../Pictures/01_02.%20Типы%20задач%20анализа%20данных.png)
