BSc: MachineLearning I

Машинное обучение I

Квалификация выпускника: бакалавр

Направление подготовки: 09.03.01 - “Информатика и вычислительная техника”

Направленность (профиль) образовательной программы: Математические основы ИИ

Программу разработал(а): __________________

1. Краткая характеристика дисциплины

Курс посвящён изучению основных методов машинного обучения. Изучаемые темы можно разбить на три блока. Первый — работа с данными и предварительный анализ данных. Изучаются библиотеки языка Python для работы с табличными данными и для визуализации, обсуждаются методы предобработки данных, подготовки категориальных и текстовых данных. Второй блок — обучение с учителем. Изучаются линейные модели, решающие деревья, композиции моделей (случайный лес, градиентный бустинг и его имплементации), приложения в рекомендательных системах. Третий блок — обучение без учителя. Изучаются методы кластеризации, визуализации, понижения размерности. Все темы сопровождаются практикой на реальных данных. По итогам курса слушатель сможет сформулировать задачу машинного обучения, выбрать метрику качества, обучить модель, подобрать гиперпараметры, провести валидацию.

2. Перечень планируемых результатов обучения

Целью освоения дисциплины машинного обучения является приобретение знаний и навыков по разработке и применению алгоритмов для автоматического извлечения закономерностей из данных.

Задачами дисциплины является изучение основных методов машинного обучения, а также их практическое применение для решения задач регрессии, классификации, кластеризации и визуализации данных.

Общая характеристика результата обучения по дисциплине

Знания: сформированы систематические знания:

- основные понятия и постановки задач машинного обучения,
- теоретические основы линейных и логических методов машинного обучения,
- принципы построения композиций моделей,
- основные метрики качества для регрессии и классификации.

Умения: сформированы умения:

- выполнять полный цикл построения модели,
- обучать основные модели машинного обучения, оценивать их качества,
- выполнять кластеризацию и визуализацию данных.

Навыки (владения): -

3. Структура и содержание дисциплины

№ п/п	Наименование раздела дисциплины	Содержание дисциплины по темам
1.	Введение в машинное обучение и анализ данных	Введение. История анализа данных. Постановки задач в машинном обучении: классификация, регрессия, ранжирование, кластеризация, латентные модели. Примеры задач. Виды данных: структурированные таблицы, тексты, изображения, звук. Признаки.
2.	Линейные модели	Аналитическое и численное решение задачи МНК. Градиентный спуск, методы оценивания градиента. Функции потерь. Регуляризация. Квантильная регрессия (постановка задачи и примеры использования). Методы оценивания обобщающей способности, кросс-валидация. Метрики качества регрессии. Аппроксимация эмпирического риска. Персептрон. Метод опорных векторов, его двойственная задача (без ядер). Задача оценивания вероятностей, логистическая регрессия. Идея калибровки вероятностей. Оптимизация второго порядка (идея и предпосылки для использования). Обобщённые линейные модели. Метрики качества в задачах классификации. Multiclass- и multilabel-классификация. Особенности многоклассовых задач. Метрики качества. Методы решения multilabel-задач, основанные на матричных разложениях.
3.	Решающие деревья	Общий алгоритм построения, критерии информативности. Конкретные критерии для классификации и регрессии. Тонкости решающих деревьев: обработка пропущенных значений, стрижка, регуляризация.
4.	Композиции моделей	Общая идея bias-variance decomposition. Бэггинг и метод случайных подпространств. Случайные леса и extra random trees. Бустинг. Градиентный бустинг над решающими деревьями. Имплементации: xgboost, lightgbm, catboost.
5.	Обучение без учителя	Задача кластеризации. K-Means, DBSCAN, MeanShift. Иерархическая кластеризация. Визуализация и t-SNE. Представления слов.
6	Подготовка данных	Отбор признаков. Понижение размерности и метод главных компонент. Подготовка категориальных и текстовых данных.
7	Рекомендательные системы	Постановки задачи. Метрики качества. Методы, основанные на коллаборативной фильтрации. Методы, основанные на матричных разложениях.

4. Методические и оценочные материалы

Задания для практических занятий:

№ п/п	Наименование раздела дисциплины (модуля)	Перечень рассматриваемых тем (вопросов) (Указываются ВСЕ задания для практических занятий по разделам дисциплины подробно в соответствии с темами)
1.
2.
3.
4.
5.
...

Текущий контроль успеваемости обучающихся по дисциплине:

(К формам текущего контроля можно отнести собеседование, коллоквиум, тест, контрольную работу, лабораторную работу, эссе, реферат и иные творческие работы.)

№ п/п	Наименование раздела дисциплины	Форма текущего контроля (выберите соответствующие формы контроля)	Материалы текущего контроля (Указываются ВСЕ ЗАДАНИЯ/ВОПРОСЫ текущего контроля успеваемости обучающихся по разделам дисциплины подробно в соответствии с требованиями)
1.		Проверка выполнения домашних заданий; Устный / письменный опрос; Тестирование (письменное или компьютерное); Эссе; Доклад; Защита проекта; Коллоквиум; Проверка разработки отдельных частей кода программного продукта и другие формы текущего контроля, используемые Вами на занятиях	Например: Устный / письменный опрос: - - - ... Тематика групповых проектов: - - - ... Темы докладов: - - - ... Тематика эссе: - - - ... Задания, в том числе, для групповых проектов: - - - ... Тестирование (письменное или компьютерное): - - - ... Проверка разработки отдельных частей кода программного продукта. Другие формы текущего контроля, используемые Вами на занятиях - - - ...
2.		Проверка выполнения домашних заданий; Устный / письменный опрос; Тестирование (письменное или компьютерное); Эссе; Доклад; Защита проекта; Коллоквиум; Проверка разработки отдельных частей кода программного продукта и другие формы текущего контроля, используемые Вами на занятиях
3.		Проверка выполнения домашних заданий; Устный / письменный опрос; Тестирование (письменное или компьютерное); Эссе; Доклад; Защита проекта; Коллоквиум; Проверка разработки отдельных частей кода программного продукта и другие формы текущего контроля, используемые Вами на занятиях
4.		Проверка выполнения домашних заданий; Устный / письменный опрос; Тестирование (письменное или компьютерное); Эссе; Доклад; Защита проекта; Коллоквиум; Проверка разработки отдельных частей кода программного продукта и другие формы текущего контроля, используемые Вами на занятиях
5.		Проверка выполнения домашних заданий; Устный / письменный опрос; Тестирование (письменное или компьютерное); Эссе; Доклад; Защита проекта; Коллоквиум; Проверка разработки отдельных частей кода программного продукта и другие формы текущего контроля, используемые Вами на занятиях
...

Контрольные вопросы для подготовки к промежуточной аттестации:

№ п/п	Наименование раздела дисциплины	Вопросы
1.
2.
3.
4.
5.
...

Вопросы/Задания к промежуточной аттестации в устной/письменной форме:

(Указываются ВСЕ ЗАДАНИЯ/ВОПРОСЫ для промежуточной аттестации.)

1.
2.
3.
...
48.
49.
50.
...

Перечень учебно-методического обеспечения дисциплины

Список основной литературы:

- Christopher M. Bishop. (n.d.). Australian National University Pattern Recognition and Machine Learning. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.EBA0C705

- Hastie, T., Tibshirani, R., & Friedman, J. H. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (Vol. Second edition, corrected 7th printing). New York: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=277008

Список дополнительной литературы:

- Stephen Boyd, Lieven Vandenberghe, & Lieven V. (2015). Additional Exercises for Convex Optimization. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.E7445CE1

Методические указания для обучающихся по освоению дисциплины

Вид учебных занятий/деятельности	Деятельность обучающегося
Лекция	Написание конспекта лекций: кратко, схематично, последовательно фиксировать основные положения лекции, выводы, формулировки, обобщения; помечать важные мысли, выделять ключевые слова, термины. Обозначить вопросы, термины или другой материал, который вызывает трудности, пометить и попытаться найти ответ в рекомендуемой литературе. Если самостоятельно не удается разобраться в материале, необходимо сформулировать вопрос и задать преподавателю на консультации, во время семинарского (практического) занятия.
Практическое (семинарское) занятие	При подготовке к семинарскому (практическому) занятию необходимо проработать материалы лекций, основной и дополнительной литературы по заданной теме. На основании обработанной информации постараться сформировать собственное мнение по выносимой на обсуждение тематике. Обосновать его аргументами, сформировать список источников, подкрепляющих его. Во время семинарского (практического) занятия активно участвовать в обсуждении вопросов, высказывать аргументированную точку зрения на проблемные вопросы. Приводить примеры из источниковой базы и научной и/или исследовательской литературы.
Устный/письменный опрос	Отвечать, максимально полно, логично и структурировано, на поставленный вопрос. Основная цель – показать всю глубину знаний по конкретной теме или ее части.
Самостоятельная работа	Самостоятельная работа состоит из следующих частей: 1) чтение учебной, справочной, научной литературы; 2) повторение материала лекций; 3) составление планов устных выступлений; 4) подготовка видеопрезентации. При чтении учебной литературы нужно разграничивать для себя материал на отдельные проблемы, концепции, идеи. Учебную литературу можно найти в электронных библиотечных системах, на которые подписан АНО Университет Иннополис.
Контрольная работа	При подготовке к контрольной работе необходимо проработать материалы лекций, семинаров, основной и дополнительной литературы по заданной теме.
Тестирование (устное/письменное)	При подготовке к тестированию необходимо проработать материалы лекций, семинаров, основной и дополнительной литературы по заданной теме. Основная цель тестирования – показать уровень сформированности знаний по конкретной теме или ее части.
Индивидуальная работа	При выполнение индивидуальной работы необходимо взять задание у преподавателя, ознакомиться с требованиями к выполнению работы, изучить поставленную проблему, найти решение проблемы. Если самостоятельно не удается разобраться в материале, необходимо сформулировать вопрос и задать преподавателю на консультации, во время семинарского (практического) занятия. Оформить результаты работы.
Выполнение домашних заданий и групповых проектов	Для выполнения домашних заданий и групповых проектов необходимо получить формулировку задания от преподавателя и убедиться в понимании задания. При выполнение домашних заданий и групповых проектов необходимо проработать материалы лекций, основной и дополнительной литературы по заданной теме.

Методы и технологии обучения, способствующие формированию компетенции

(Указываются все используемые преподавателем методы и технологии обучения)

Методы и технологии обучения, способствующие формированию компетенции

Например:

1.	Информационно – коммуникационная технология
2.	Технология развития критического мышления	Основные методические приемы развития критического мышления Прием «Кластер» Таблица Учебно-мозговой штурм Интеллектуальная разминка Зигзаг, зигзаг -2 Прием «Инсерт» Эссе Приём «Корзина идей» Приём «Составление синквейнов» Метод контрольных вопросов Приём «Знаю../Хочу узнать…/Узнал…» Круги по воде Ролевой проект Да – нет Приём «Чтение с остановками» Приём «Взаимоопрос» Приём «Перепутанные логические цепочки» Приём «Перекрёстная дискуссия»
3.	Проектная технология
4.	Технология проблемного обучения
5.	Кейс – технология	К методам кейс-технологий, активизирующим учебный процесс, относятся: метод ситуационного анализа (Метод анализа конкретных ситуаций, ситуационные задачи и упражнения; кейс-стадии) метод инцидента; метод ситуационно-ролевых игр; метод разбора деловой корреспонденции; игровое проектирование; метод дискуссии.
6.	Технология интегрированного обучения
7.	Педагогика сотрудничества
8.	Технологии уровневой дифференциации
9.	Групповая технология
10.	Традиционные технологии (классно-урочная система)
11.	Здоровьесберегающие технологии
12.	Игровая технология
13.	Модульная технология
14.	Технология мастерских
	и др.