BSc: MathematicalFoundationsOfAI
Математические основы искуственного интеллекта
- Квалификация выпускника: бакалавр
- Направление подготовки: 09.03.01 - “Информатика и вычислительная техника”
- Направленность (профиль) образовательной программы: Математические основы ИИ
- Программу разработал(а):
1. Краткая характеристика дисциплины
Изучение дисциплины обеспечивает формирование и развитие компетенций обучающихся в следующих областях знаний:
Явление концентрации меры. Начиная с классических результатов Гаусса, Максвелла, Пуанкаре, Леви, Мильмана, планируется постепенно перейти к современным результатам и приложениям, в том числе, возникающим в разнообразных задачах анализа данных.
Численные методы решения задач (выпуклой) стохастической оптимизации в пространствах больших размеров. Такие задачи часто возникают в разнообразных приложениях, в том числе в анализе данных — принцип максимального правдоподобия в статистике, минимизация риска в машинном обучении.
Классическая теорема о SVD-разложении и ее различные обобщения будут продемонстрированы в приложениях к данным, хранящимся в многомерных массивах.
2. Перечень планируемых результатов обучения
- Целью освоения дисциплины является обучение студентов с соответствующей математикой, что впоследствии должно помочь им в изучении специализированных разделов анализа данных (машинного обучения, статистики, обучения с подкреплением, численных методов оптимизации, моделирования больших сетей и т.д.).
- Задачами дисциплины являются ...
Общая характеристика результата обучения по дисциплине
- Знания: после прохождения курса у студентов должны быть сформированы .
- Умения: сформированы умения .
- Навыки (владения): в результате прохождения курса формируются навыки .
3. Структура и содержание дисциплины
№ п/п |
Наименование раздела дисциплины |
Содержание дисциплины по темам |
1. | Вокруг задач поиска вектора PageRank. |
1 часть (Google problem) изложена в учебном пособии (Б. Вектор PageRank и Google Problem) |
2. | Элементы теории случайных процессов. |
1. Классические вопросы, связанные с методом Монте-Карло (вычисление площади, интеграла, Hit and run алгоритм).
2. Введение в эргодические динамические системы и эргодические случайные процессы (поворот окружности, сдвиг Бернулли, цепные дроби, восстановления с помощью эргодической теоремы параметра сноса по достаточно длинной траектории геометрического броуновского движения - процесса Башелье-Самуэльсона).
3. Основные классы случайных процессов (Мартингалы и безарбитражный рынок ценных бумаг, процессы Леви (Винеровский процесс как диффузионный предел случайных блужданий, Пуассоновский, сложный Пуассоновский), безгранично-делимые распределения).
|
3. | Вокруг Центральной предельной теоремы. |
1. Центральная предельная теорема для схемы i.i.d. и ее доказательство с помощью аппарата характеристических функций. Схема рассуждений была взята из книги Розанов Ю.А. Лекции по теории вероятностей. Изд. 3, 2008. 136 с. |
4. | Стохастические дифференциальные уравнения и методы Монте-Карло, Стохастический градиентный спуск. |
1. Условное математическое ожидание. Гильбертово пространство квадратично-интегрируемых случайных величин. Получение характеристической функции сложного Пуассоновского процесса с помощью формулы полного математического ожидания. Случайные процессы. под ред. А.В. Гасникова. |
5. | Вокруг стохастического градиентного спуска. |
1. Неравенство Азума-Хефдинга 3. Клиппирование, использование неравенства Бернштейна-Фридмана. |
6. | Концентрация меры. |
1. Метод Лапласа (исследование асимптотики интеграла по параметру), обоснование формулы Стирлинга.
2. Концентрация меры на сфере.
3. Случайные перестановки и их свойства
5. Неравенство Талаграна (просто упоминание)
6. Теорема Джонсона-Линденштраусса.
7. Вероятностная проверка тождеств.
|
7. | Большие системы (макросистемы). |
1. Теорема Клартага (только формулировка)
2. Предельные формы (диаграммы Юнга, Ричардсона, выпуклые ломаные)
3. Модели роста сетей (типа интернета) на принципе предпочтительного присоединения
4. Эволюция РНК и генетические алгоритмы
5. Время достижения ускоренного консенсуса снизу оценивается диаметром графа и квадрат этого времени отвечает времени выхода сопряженной марковской цепи на стационарное (инвариантное) распределение
6. Распределение ошибок при решении систем линейных уравнений
7. Равновесия макросистем, как аттракторы в моделях стохастической химической кинетики. Пример «Кинетика социального неравенства»
8. Метод перевала. Элементы ТФКП. Формула Коши. Получение оценок больших уклонений (теорема Крамера) с помощью метода перевала.
9. Игрушечная модель эволюции Д. Кьялво - степенной закон распределения частоты лавин от длительности (связь с временем первого возвращения случайного блуждания)
|
8. | Машинное обучение с точки зрения стохастической оптимизации. |
1. Multilevel Monte Carlo
|
9. | Распределенная оптимизация. |
1. Методы распределенной оптимизации, использующие сжатие |
10. | Математика больших данных в теории информации. |
1. Основные определения теории информации: энтропия и взаимная информация
|
11. | Малоранговая аппроксимация матриц. |
1.Скелетное и сингулярное разложения матриц. |
12. | Малоранговая аппроксимация тензоров. |
1.Каноническое разложение. |
13. | Математика обучения с подкреплением. |
1. Базовые понятия: марковский процесс принятия решений, уравнения Беллмана, онлайн обучение с подкреплением и регрет. Похожее изложение |
4. Методические и оценочные материалы
Задания для практических занятий:
№ п/п |
Наименование раздела дисциплины (модуля) |
Перечень рассматриваемых тем (вопросов) |
1. | Элементы теории аппроксимации. |
|
2. | Расходящиеся ряды. |
|
3. | Анализ на многообразиях нецелой размерности. |
|
Текущий контроль успеваемости обучающихся по дисциплине:
№ п/п |
Наименование раздела дисциплины |
Форма текущего контроля |
Материалы текущего контроля |
1. | Элементы теории аппроксимации. | Разработка кода для иллюстрации теоретических положений раздела. | Выбрать одну из задач для практических заданий и написать программу для решений такой задачи. |
2. | Расходящиеся ряды. | Разработка кода для иллюстрации теоретических положений раздела. | Выбрать одну из задач для практических заданий и написать программу для решений такой задачи. |
3. | Анализ на многообразиях нецелой размерности. | Разработка кода для иллюстрации теоретических положений раздела. | Выбрать одну из задач для практических заданий и написать программу для решений такой задачи. |
Контрольные вопросы для подготовки к промежуточной аттестации:
Для ознакомления доступна контрольная работа
|- style="vertical-align:middle; background-color:#F8F9FA; color:#202122;"
| style="text-align:center;" | 3. || Анализ на многообразиях нецелой размерности.||
- Дать определение фрактальной размерности. Привести примеры многообразий нецелой размерности.
- Привести примеры отображений, генерирующих многообразия фрактальной размерности.
- Определение интеграла Дробного порядка и производной дробного порядка.
|}
Вопросы/Задания к промежуточной аттестации в устной/письменной форме:
- Blum A., Hopcroft J., Kannan R. Foundations of data science. – Cambridge University Press, 2020.
- Bach F. Learning Theory from First Principles. – 2021.
- Тыртышников Е. Е. Методы численного анализа. – 2007.
- Зорич В. Математический анализ задач естествознания. – Litres, 2018.
Перечень учебно-методического обеспечения дисциплины
Список основной литературы:
1. Гyдфеллоy Я., Бенджио И., Кyрвилль А. Глyбокое обyчение. 2-е изд., исправл. М.: ДМК-Пресс, 2018.
2. Shapiro A., Dentcheva D., Ruszczyński A. Lectures on stochastic programming: modeling and theory. – Society for Industrial and Applied Mathematics, 2014.
3. Shalev-Shwartz S., Ben-David S. Understanding machine learning: From theory to algorithms. – Cambridge university press, 2014.
4. Bubeck S. Convex optimization: Algorithms and complexity // Foundations and Trends® in Machine Learning Volume 8 Issue 3-411 pp 231–357. – 2015.
5. Duchi J. C. Introductory lectures on stochastic optimization // The mathematics of data. – 2018. – V. 25. – P. 99-185.
6. Hazan E. Lecture notes: Optimization for machine learning // arXiv preprint arXiv:1909.03550. – 2019.
7. Lan G. First-order and Stochastic Optimization Methods for Machine Learning. – Springer Nature, 2020.
8. Milman V. D. The heritage of P. Lévy in geometrical functional analysis //Astérisque. – 1988. – Т. 157. – №. 158. – С. 273-301.
9. Shen A., Romashchenko A., Rumyantsev A. Y. Заметки по теории кодирования. – 2017.
10. Vershynin R. High-dimensional probability: An introduction with applications in data science. – Cambridge university press, 2018. – Т. 47.
Список дополнительной литературы:
- Glebov S.G., Kiselev O.M., Tarkhanov N., Nonlinear equations with small parameter. Volume I: Oscillations and resonances De Gruyter Series in Nonlinear Analysis and Applications. 2017, v. 23/1, pp.340.
- Лутц М., Изучаем Python: Т. 1, 2, Издательство Диалектика, 2023, ISBN 9785521805532
- Beazley D., Jones B.K. Python Cookbook, 3rd Edition by 2013 Publisher(s): O'Reilly Media, Inc. ISBN: 9781449357351
Методические указания для обучающихся по освоению дисциплины
Вид учебных занятий/деятельности |
Деятельность обучающегося |
Лекция | Написание конспекта лекций: кратко, схематично, последовательно фиксировать основные положения лекции, выводы, формулировки, обобщения; помечать важные мысли, выделять ключевые слова, термины. Обозначить вопросы, термины или другой материал, который вызывает трудности, пометить и попытаться найти ответ в рекомендуемой литературе. Если самостоятельно не удается разобраться в материале, необходимо сформулировать вопрос и задать преподавателю на консультации, во время семинарского (практического) занятия. |
Практическое (семинарское) занятие | При подготовке к семинарскому (практическому) занятию необходимо проработать материалы лекций, основной и дополнительной литературы по заданной теме. На основании обработанной информации постараться сформировать собственное мнение по выносимой на обсуждение тематике. Обосновать его аргументами, сформировать список источников, подкрепляющих его. Во время семинарского (практического) занятия активно участвовать в обсуждении вопросов, высказывать аргументированную точку зрения на проблемные вопросы. Приводить примеры из источниковой базы и научной и/или исследовательской литературы. |
Устный/письменный опрос | Отвечать, максимально полно, логично и структурировано, на поставленный вопрос. Основная цель – показать всю глубину знаний по конкретной теме или ее части. |
Реферат | Поиск источников и литературы, составление библиографии. При написании реферата рекомендуется использовать разнообразные источники, монографии и статьи из научных журналов, позволяющие глубже разобраться в различных точках зрения на заданную тему. Изучение литературы следует начинать с наиболее общих трудов, затем следует переходить к освоению специализированных исследований по выбранной теме. Могут быть использованы ресурсы сети «Интернет» с соответствующими ссылками на использованные сайты. Если тема содержит проблемный вопрос, следует сформулировать разные точки зрения на него. Рекомендуется в выводах указать свое собственное аргументированное мнение по данной проблеме. Подготовить презентацию для защиты реферата. |
Эссе | Написание прозаического сочинения небольшого объема и свободной композиции, выражающего индивидуальные впечатления и соображения по конкретному поводу или вопросу и заведомо не претендующего на определяющую или исчерпывающую трактовку предмета. При работе над эссе следует четко и грамотно формулировать мысли, структурировать информацию, использовать основные понятия, выделять причинно-следственные связи. Как правило эссе имеет следующую структуру: вступление, тезис и аргументация его, заключение. В качестве аргументов могут выступать исторические факты, явления общественной жизни, события, жизненные ситуации и жизненный опыт, научные доказательства, ссылки на мнение ученых и др. |
Подготовка к промежуточной аттестации | При подготовке к промежуточной аттестации необходимо проработать вопросы по темам, которые рекомендуются для самостоятельной подготовки. При возникновении затруднений с ответами следует ориентироваться на конспекты лекций, семинаров, рекомендуемую литературу, материалы электронных и информационных справочных ресурсов, статей. Если тема вызывает затруднение, четко сформулировать проблемный вопрос и задать его преподавателю. |
Практические (лабораторные) занятия | Практические занятия предназначены прежде всего для разбора отдельных сложных положений, тренировки аналитических навыков, а также для развития коммуникационных навыков. Поэтому на практических занятиях необходимо участвовать в тех формах обсуждения материала, которые предлагает преподаватель: отвечать на вопросы преподавателя, дополнять ответы других студентов, приводить примеры, задавать вопросы другим выступающим, обсуждать вопросы и выполнять задания в группах. Работа на практических занятиях подразумевает домашнюю подготовку и активную умственную работу на самом занятии. Работа на практических занятиях в форме устного опроса заключается прежде всего в тренировке навыков применять теоретические положения к самому разнообразному материалу. В ходе практических занятий студенты работают в группах для обсуждения предлагаемых вопросов. |
Самостоятельная работа | Самостоятельная работа состоит из следующих частей: 1) чтение учебной, справочной, научной литературы; 2) повторение материала лекций; 3) составление планов устных выступлений; 4) подготовка видеопрезентации. При чтении учебной литературы нужно разграничивать для себя материал на отдельные проблемы, концепции, идеи. Учебную литературу можно найти в электронных библиотечных системах, на которые подписан АНО Университет Иннополис. |
Видеопрезентация | Подготовка видеопрезентаций по курсу. Видеопрезентации могут быть сделаны на любую тему, затронутую в ходе курса. Темы должны быть заранее согласованы с преподавателем. Видеопрезентации продолжительностью около 5 минут (300 секунд) должны быть подготовлены в группах, определяемых преподавателем. Несмотря на то, что это групповая работа, должен явно присутствовать вклад каждого члена группы. |
Доклад | Публичное, развернутое сообщение по определенной теме или вопросу, основанное на документальных данных. При подготовке доклада рекомендуется использовать разнообразные источники, позволяющие глубже разобраться в теме. Учебную литературу можно найти в электронных библиотечных системах, на которые подписан АНО Университет Иннополис. |
Дискуссия | Публичное обсуждение спорного вопроса, проблемы. Каждая сторона должна оппонировать мнение собеседника, аргументируя свою позицию. |
Контрольная работа | При подготовке к контрольной работе необходимо проработать материалы лекций, семинаров, основной и дополнительной литературы по заданной теме. |
Тестирование (устное/письменное) | При подготовке к тестированию необходимо проработать материалы лекций, семинаров, основной и дополнительной литературы по заданной теме. Основная цель тестирования – показать уровень сформированности знаний по конкретной теме или ее части. |
Индивидуальная работа | При выполнение индивидуальной работы необходимо взять задание у преподавателя, ознакомиться с требованиями к выполнению работы, изучить поставленную проблему, найти решение проблемы. Если самостоятельно не удается разобраться в материале, необходимо сформулировать вопрос и задать преподавателю на консультации, во время семинарского (практического) занятия. Оформить результаты работы. |
Разработка отдельных частей кода | Разработать часть кода, исходя из поставленной задачи и рекомендаций преподавателя. При выполнении работы рекомендуется обращаться к материалам лекций и семинарских (практических) занятий. Если возникают затруднения, необходимо проконсультироваться с преподавателем. |
Выполнение домашних заданий и групповых проектов | Для выполнения домашних заданий и групповых проектов необходимо получить формулировку задания от преподавателя и убедиться в понимании задания. При выполнение домашних заданий и групповых проектов необходимо проработать материалы лекций, основной и дополнительной литературы по заданной теме. |
Методы и технологии обучения, способствующие формированию компетенции
Методы и технологии обучения, способствующие формированию компетенции |
В курсе планируется использовать несколько технологий обучения. Таких как: интерактивные лекции , поощряющие участие студентов посредством сессий вопросов и ответов, живых демонстраций концепций квантовых вычислений или групповых дискуссий.
Проблемно-ориентированное обучение – мероприятия по решению проблем, которые побуждают студентов применять концепции квантовых вычислений в практических ситуациях. Этот метод может улучшить навыки критического мышления и закрепления знаний. Будут применяться программные библиотеки для аналитических и численных методов: SymPy, NumPy, и SciPy , что позволит использовать компьютер как инструмент для изучения свойств аналитических функции, изучать теорию аппроксимаций и получить опыт использования компьютерных вычислений в задачах математического анализа. Планируется предложить совместные проекты , которые требуют применения концепций квантовых вычислений в реальных сценариях или создания новых квантовых алгоритмов. Такой подход может способствовать командной работе, навыкам общения и креативности, одновременно углубляя понимание студентами концепций квантовых вычислений. Важный элемент курса – смешанное обучение : сочетание традиционного очного обучения с онлайн-учебными ресурсами, такими как видео, симуляторы или интерактивные викторины. Такой подход может учитывать различные стили обучения и предпочтения, одновременно улучшая понимание учащимися концепций квантовых вычислений. |