Теория устойчивости нелинейных операторов для исследования моделей искусственных нейронных сетей

Квалификация выпускника: бакалавр

Направление подготовки: 09.03.01 - “Информатика и вычислительная техника”

Направленность (профиль) образовательной программы: Математические основы ИИ

Программу разработал(а): О.М. Киселев

1. Краткая характеристика дисциплины

Курс представляет собой введение в теорию нелинейных операторов и ее применение при изучении моделей искусственных нейронных сетей. Основное внимание уделяется теории устойчивости, которая рассматривается как теоретическая основа для исследования надежности нейронных сетей. Курс охватывает такие темы, как метод Ляпунова, теоремы о неподвижной точке и теория бифуркаций. Студенты узнают, как анализировать устойчивость нейронных сетей, проектировать стабильные нейронные сети и понимать их поведение в различных условиях. Курс включает в себя как теоретические, так и практические компоненты, включая лекции, домашние задания и проекты по программированию.

2. Перечень планируемых результатов обучения

Целью освоения дисциплины является ознакомление с основными принципами и концепции теории нелинейных операторов и ее применения при изучении моделей искусственных нейронных сетей. Определение устойчивости нейронных сетей, используя метод Ляпунова и теоремы о фиксированной точке.

Задачами дисциплины являются обучение принципам проектирования стабильных нейронных сети и анализа их поведения в различных условиях. Анализ бифуркаций и их значений в моделях нейронных сетей. Обучение применению этих теоретических концепций в проектах по программированию и домашних заданиях.

Общая характеристика результата обучения по дисциплине

Знания: предполагается, что будут сформированы систематические знания о теории нелинейных операторов и ее применение при изучении моделей искусственных нейронных сетей. Методе Ляпунова и теоремы о неподвижной точке. Бифуркациях и их значении в моделях нейронных сетей.

Умения: по окончанию курса должны быть сформированы умения анализа устойчивости нейронных сетей с использованием метода Ляпунова и теорем о неподвижной точке. Проектирования стабильных нейронных сетей и понимание их поведения в различных условиях. Применение теоретических концепций в проектах по программированию и домашних заданиях.

Навыки (владения): сформировано владение навыками решения сложных задач в теории нелинейных операторов и ее применение при изучении моделей искусственных нейронных сетей.

3. Структура и содержание дисциплины

№ п/п	Наименование раздела дисциплины	Содержание дисциплины по темам
1.	Введение в теорию нелинейных операторов и ее применение при изучении моделей искусственных нейронных сетей.	Определение нелинейных операторов как отображений одного многомерного пространства в другое. Различные типы норм в теории операторов.Основные свойства операторов (ограниченность, непрерывность).
2.	Производные Фреше и производные Гато.	Определение и примеры вычисления производных Фреше и Гато для дифференциальных операторов. Применение производных для исследования свойств нелинейных операторов.
3.	Теория устойчивости и ее применение при анализе устойчивости.	Теория устойчивости для последовательных отображений. Теорема Банаха о неподвижной точке. Устойчивые и неустойчивые отображения. Применение производных Фреше и Гато в анализе устойчивости.
4.	Искусственные нейронные сети.	Введение в искусственные нейронные сети (ИНС).Различные архитектуры ИНС (прямая, рекуррентная, сверточная).Правила обучения в ИНС (обратное распространение, градиентный спуск).Роль функций активации в ИНС.
5.	Устойчивость нейронных сетей.	Различение стабильной и нестабильной динамики нейронных сетей.Методы изучения стабильности в нейронных сетях.Влияние стабильности на обучение и обобщение в ИНС.Теорема о неподвижной точке и автоэнкодеры.
6.	Приложения нелинейных операторов в ИНС.	Применение концепций теории нелинейных операторов в ИНС. Изучение влияния стабильности на производительность ИНС на практике. Примеры успешных приложений ИНС с использованием теории нелинейных операторов.

4. Методические и оценочные материалы

Задания для практических занятий:

№ п/п	Наименование раздела дисциплины (модуля)	Перечень рассматриваемых тем (вопросов)
1.	Теория нелинейных операторов.	Исследуйте различные типы норм в теории операторов и их значение для анализа устойчивости. Проанализируйте свойства операторов (ограниченность и непрерывность) в различных сценариях.
2.	Создание производных Фреше.	Реализуйте производные Фреше в Python или MATLAB для простых нелинейных операторов (например, полиномиальных функций). Проанализируйте, как производные Фреше применяются при анализе устойчивости нелинейных систем.
3.	Производные Гато.	Продемонстрируйте свое понимание производных Гато как производных по направлению, приведя примеры в различных контекстах (например, гильбертовых пространствах). Обсудите их свойства и приложения в анализе устойчивости бесконечномерных систем.
4.	Анализ устойчивости.	Используя примеры, проанализируйте устойчивость нелинейных систем с использованием производных Фреше или производных Гато. Сравните свои результаты в обоих случаях и обсудите их преимущества/недостатки в различных сценариях.
5.	Теорема Банаха о неподвижной точке.	Примените теорему Банаха о неподвижной точке в анализе устойчивости автоэнкодеров. Приведите примеры, где эта теорема может быть использована для определения стабильности нейронной сети.
6.	Устойчивость ИНС.	Исследуйте различие между стабильной и нестабильной динамикой ИНС. Разработайте методы анализа ИНС, используя как производные Фреше, так и производные Гато. Обсудите, как устойчивость влияет на обучение ИНС.
7.	Приложения ИНС.	Используя примеры из практики, проанализируйте, как нелинейные операторы применяются ИНС. Исследуйте, как анализ стабильности влияет на производительность в конкретных сценариях (например, распознавание изображений).

Текущий контроль успеваемости обучающихся по дисциплине:

№ п/п	Наименование раздела дисциплины	Форма текущего контроля	Материалы текущего контроля
1.	Производные нелинейных операторов.	Письменное тестирование	Определите производные Гато как производные по направлению в банаховых пространствах. Каковы их основные свойства? Рассмотрим простую рекуррентную нейронную сеть. Используя производные Гато, проанализируйте поведение его стабильности при применении входных последовательностей. Объясните, как производные Гато применяются в анализе устойчивости бесконечномерных систем (например, ИНС). Приведите примеры и их применение на практике.
2.	Анализ устойчивости.	Проектное задание, проверка разработки кода	Разработайте алгоритм вычисления производных Фреше для нелинейных операторов с использованием Python или MATLAB. Примените этот алгоритм при анализе устойчивости нелинейных систем. Реализуйте простую искусственную нейронную сеть для задач распознавания объектов с использованием популярных фреймворков глубокого обучения (например, TensorFlow, PyTorch). Проанализируйте ее свойства стабильности, используя производные Фреше или Гато.
3.	Теорема Банаха о неподвижной точке.	Проектное задание, проверка разработки кода	Исследуйте, как теорема Банаха о неподвижной точке может быть применена при анализе устойчивости последовательных отображений в ИНС — автоэнкодерах. Написать код для автоэнкодера с заданным датасетом. Исследовать неподвижные точки автоэкодера и их окрестности с точки зрения анализа нелинейных операторов — устойчивость, свойства производных.
4.	Устойчивость ИНС.	Проектное задание	Обучить ИНС на типовом наборе данных, например, MNIST или CIFAR. Исследовать устойчивость к атакам «черного ящика» и атакам «белого ящика».
5.	Бифуркации в ИНС.	Проектное задание	Исследовать существование и свойства неподвижных точек автоэнкодеров при изменении параметров ИНС, таких, как: числа слоев; размерности внутренних слоев; метрики, использованной при обучении.

Контрольные вопросы для подготовки к промежуточной аттестации:

№ п/п	Наименование раздела дисциплины	Вопросы
1.	Нелинейные операторы в банаховых пространствах.	Что такое нелинейная операторная теория и как она связана с искусственными нейронными сетями? Дайте определение теории нелинейных операторов и объясните ее применение при изучении моделей искусственных нейронных сетей.
2.	Производные Фреше и производные Гато.	Дайте определение производным Фреше и объясните их значение в анализе устойчивости нейронных сетей. Опишите свойства производных Фреше в банаховых пространствах. Приведите примеры приложений, в которых производные Фреше используются в анализе устойчивости. Представьте производные Гато как производные по направлениям в локально выпуклых топологических векторных пространствах. Сравните производные Фреше и производные Гато с точки зрения условий существования, свойств и применений.
3.	Теория устойчивости отображений.	Что такое метод Ляпунова и как он используется при анализе устойчивости? Объясните метод Ляпунова и его применение при анализе устойчивости. Приведите пример.
4.	Теорема Банаха о стационарной точке.	Что такое теорема о неподвижной точке и как она используется при анализе устойчивости? Объясните теоремы о фиксированной точке и их применение при анализе стабильности. Приведите пример.
5.	Элементы теории бифуркаций нелинейных операторов.	Что такое бифуркации и как они влияют на поведение нейронной сети? Объясните бифуркации и их значение в моделях нейронных сетей. Приведите пример.
6.	Свойства устойчивости нелинейных операторов, производные Фреше и Гато.	Как можно спроектировать стабильные нейронные сети и какие факторы влияют на их стабильность? Опишите, как могут быть спроектированы стабильные нейронные сети и какие факторы влияют на их стабильность. Приведите пример. Обсудите преимущества и ограничения использования теории нелинейных операторов при изучении моделей искусственных нейронных сетей.

Вопросы/Задания к промежуточной аттестации в устной/письменной форме:

Нелинейные операторы и нормы (20% от итоговой оценки)

Что такое что такое оператор и как он определяется?
В чем разница между ограниченными и неограниченными операторами и приведите пример?
Что такое операторная норма и как она определяется?

Производные от Фреше и Гато (20% от итоговой оценки)

Что такое производная Фреше и как она определяется?
Что такое производная Гато и как она определяется?
В чем разница между производными Фреше и Гато и когда они используются?
Что такое цепное правило в производной Фреше и как оно используется?
Что такое теорема об обратной функции и как она используется в теории нелинейных операторов?

Теорема Банаха о неподвижной точке (20% итоговой оценки)

Что такое теорема Банаха о неподвижной точке и как она сформулирована?
Каково доказательство теоремы Банаха о неподвижной точке и каковы ее предположения?
Что такое сжимающее отображение и как оно определяется?
Что такое теорема о неявной функции и как она используется в теории нелинейных операторов?

Подход Ляпунова (20% итоговой оценки)

Что такое подход Ляпунова и как он используется в анализе устойчивости?
Что такое функция Ляпунова и как она определяется?
Что такое принцип инвариантности Лассаля и как он используется в анализе устойчивости?
Что такое теорема Четаева о неустойчивости и как она используется в анализе устойчивости?
Что такое лемма Барбалата и как она используется в анализе устойчивости?
Что такое отображение Пуанкаре и как оно используется в анализе устойчивости?
Что такое метод Мельникова и как он используется в анализе устойчивости?
Что такое теорема Пуанкаре-Бендиксона и как она используется в анализе устойчивости?

Искусственные нейронные сети (10% от итоговой оценки)

Что такое градиентный спуск и как он используется в обучающих нейронных сетях?
Что такое функция активации и как она определяется?
Что такое переобучение и как с этим борются в машинном обучении?

Анализ стабильности в искусственных нейронных сетях (20% от итоговой оценки)

Что такое анализ стабильности в искусственных нейронных сетях и почему это важно?
Что такое локальная стабильность и как она определяется?
Что такое глобальная стабильность и как она определяется?

Перечень учебно-методического обеспечения дисциплины

Список основной литературы:

1. Boyd, S., & Vandenberghe, L. (2004). Convex Optimization. Cambridge University Press
2. Rudin, W. (1991). Functional Analysis (2nd ed.). McGraw-Hill Education
3. Haykin, S. (2019). Neural Networks and Deep Learning (3rd ed.). Pearson Education
4. Luenberger, D. G., & Yeh, Y. Linear and Nonlinear Programming. Springer
5. Khalil, H. K. (2015). Nonlinear Systems (4th ed.). Prentice Hall

Список дополнительной литературы:

1. Yu W-, Cao J. Stability and Hopf bifurcations on a two-neuron system with time delay in the frequency main // Int. J. of Bifurcation and Chaos. — 2007. - Vol. 17 (4). — Pp. 1355-1366.
2. P. Liu, J. Wang and Z. Guo, "Multiple and Complete Stability of Recurrent Neural Networks With Sinusoidal Activation Function," in IEEE Transactions on Neural Networks and Learning Systems, vol. 32, no. 1, pp. 229-240, Jan. 2021, doi: 10.1109/TNNLS.2020.2978267.
3. Emanuele Zappala, Daniel Levine, Sizhuang He, Syed Rizvi, Sacha Levy, David van Dijk. Operator Learning Meets Numerical Analysis: Improving Neural Networks through Iterative Methods. arXiv:2310.01618.

Методические указания для обучающихся по освоению дисциплины

Вид учебных занятий/деятельности	Деятельность обучающегося
Лекция	Написание конспекта лекций: кратко, схематично, последовательно фиксировать основные положения лекции, выводы, формулировки, обобщения; помечать важные мысли, выделять ключевые слова, термины. Обозначить вопросы, термины или другой материал, который вызывает трудности, пометить и попытаться найти ответ в рекомендуемой литературе. Если самостоятельно не удается разобраться в материале, необходимо сформулировать вопрос и задать преподавателю на консультации, во время семинарского (практического) занятия.
Практическое (семинарское) занятие	При подготовке к семинарскому (практическому) занятию необходимо проработать материалы лекций, основной и дополнительной литературы по заданной теме. На основании обработанной информации постараться сформировать собственное мнение по выносимой на обсуждение тематике. Обосновать его аргументами, сформировать список источников, подкрепляющих его. Во время семинарского (практического) занятия активно участвовать в обсуждении вопросов, высказывать аргументированную точку зрения на проблемные вопросы. Приводить примеры из источниковой базы и научной и/или исследовательской литературы.
Устный/письменный опрос	Отвечать, максимально полно, логично и структурировано, на поставленный вопрос. Основная цель – показать всю глубину знаний по конкретной теме или ее части.
Реферат	Поиск источников и литературы, составление библиографии. При написании реферата рекомендуется использовать разнообразные источники, монографии и статьи из научных журналов, позволяющие глубже разобраться в различных точках зрения на заданную тему. Изучение литературы следует начинать с наиболее общих трудов, затем следует переходить к освоению специализированных исследований по выбранной теме. Могут быть использованы ресурсы сети «Интернет» с соответствующими ссылками на использованные сайты. Если тема содержит проблемный вопрос, следует сформулировать разные точки зрения на него. Рекомендуется в выводах указать свое собственное аргументированное мнение по данной проблеме. Подготовить презентацию для защиты реферата.
Эссе	Написание прозаического сочинения небольшого объема и свободной композиции, выражающего индивидуальные впечатления и соображения по конкретному поводу или вопросу и заведомо не претендующего на определяющую или исчерпывающую трактовку предмета. При работе над эссе следует четко и грамотно формулировать мысли, структурировать информацию, использовать основные понятия, выделять причинно-следственные связи. Как правило эссе имеет следующую структуру: вступление, тезис и аргументация его, заключение. В качестве аргументов могут выступать исторические факты, явления общественной жизни, события, жизненные ситуации и жизненный опыт, научные доказательства, ссылки на мнение ученых и др.
Подготовка к промежуточной аттестации	При подготовке к промежуточной аттестации необходимо проработать вопросы по темам, которые рекомендуются для самостоятельной подготовки. При возникновении затруднений с ответами следует ориентироваться на конспекты лекций, семинаров, рекомендуемую литературу, материалы электронных и информационных справочных ресурсов, статей. Если тема вызывает затруднение, четко сформулировать проблемный вопрос и задать его преподавателю.
Практические (лабораторные) занятия	Практические занятия предназначены прежде всего для разбора отдельных сложных положений, тренировки аналитических навыков, а также для развития коммуникационных навыков. Поэтому на практических занятиях необходимо участвовать в тех формах обсуждения материала, которые предлагает преподаватель: отвечать на вопросы преподавателя, дополнять ответы других студентов, приводить примеры, задавать вопросы другим выступающим, обсуждать вопросы и выполнять задания в группах. Работа на практических занятиях подразумевает домашнюю подготовку и активную умственную работу на самом занятии. Работа на практических занятиях в форме устного опроса заключается прежде всего в тренировке навыков применять теоретические положения к самому разнообразному материалу. В ходе практических занятий студенты работают в группах для обсуждения предлагаемых вопросов.
Самостоятельная работа	Самостоятельная работа состоит из следующих частей: 1) чтение учебной, справочной, научной литературы; 2) повторение материала лекций; 3) составление планов устных выступлений; 4) подготовка видеопрезентации. При чтении учебной литературы нужно разграничивать для себя материал на отдельные проблемы, концепции, идеи. Учебную литературу можно найти в электронных библиотечных системах, на которые подписан АНО Университет Иннополис.
Видеопрезентация	Подготовка видеопрезентаций по курсу. Видеопрезентации могут быть сделаны на любую тему, затронутую в ходе курса. Темы должны быть заранее согласованы с преподавателем. Видеопрезентации продолжительностью около 5 минут (300 секунд) должны быть подготовлены в группах, определяемых преподавателем. Несмотря на то, что это групповая работа, должен явно присутствовать вклад каждого члена группы.
Доклад	Публичное, развернутое сообщение по определенной теме или вопросу, основанное на документальных данных. При подготовке доклада рекомендуется использовать разнообразные источники, позволяющие глубже разобраться в теме. Учебную литературу можно найти в электронных библиотечных системах, на которые подписан АНО Университет Иннополис.
Дискуссия	Публичное обсуждение спорного вопроса, проблемы. Каждая сторона должна оппонировать мнение собеседника, аргументируя свою позицию.
Контрольная работа	При подготовке к контрольной работе необходимо проработать материалы лекций, семинаров, основной и дополнительной литературы по заданной теме.
Тестирование (устное/письменное)	При подготовке к тестированию необходимо проработать материалы лекций, семинаров, основной и дополнительной литературы по заданной теме. Основная цель тестирования – показать уровень сформированности знаний по конкретной теме или ее части.
Индивидуальная работа	При выполнение индивидуальной работы необходимо взять задание у преподавателя, ознакомиться с требованиями к выполнению работы, изучить поставленную проблему, найти решение проблемы. Если самостоятельно не удается разобраться в материале, необходимо сформулировать вопрос и задать преподавателю на консультации, во время семинарского (практического) занятия. Оформить результаты работы.
Разработка отдельных частей кода	Разработать часть кода, исходя из поставленной задачи и рекомендаций преподавателя. При выполнении работы рекомендуется обращаться к материалам лекций и семинарских (практических) занятий. Если возникают затруднения, необходимо проконсультироваться с преподавателем.
Выполнение домашних заданий и групповых проектов	Для выполнения домашних заданий и групповых проектов необходимо получить формулировку задания от преподавателя и убедиться в понимании задания. При выполнение домашних заданий и групповых проектов необходимо проработать материалы лекций, основной и дополнительной литературы по заданной теме.

Методы и технологии обучения, способствующие формированию компетенции

Методы и технологии обучения, способствующие формированию компетенции
В курсе планируется использовать несколько технологий обучения. Таких как: интерактивные лекции , поощряющие участие студентов посредством сессий вопросов и ответов, живых демонстраций концепций исследования свойств искусственных нейронных сетей как нелинейных отображений в многомерных пространствах. Проблемно-ориентированное обучение – мероприятия по решению проблем, которые побуждают студентов применять искусственные нейронные сети в практических ситуациях. Этот метод может улучшить навыки критического мышления и закрепления знаний. Будут применяться программные средства для генерации искуственных нейронных сетей : Keras, TensorFlow, Torch, что позволит им разрабатывать квантовые алгоритмы, симуляции и приложения. Этот практический опыт может способствовать развитию практических навыков и любопытства к квантовым вычислениям. Планируется предложить совместные проекты , которые требуют предполагают исследование устойчивости ИНС к различным атакам и к загрязненным атаками наборам данных для обучения. Такой подход может способствовать командной работе, навыкам общения и креативности, одновременно углубляя понимание студентами концепций квантовых вычислений. Важный элемент курса – смешанное обучение – сочетание традиционное очное обучение с онлайн-учебными ресурсами, такими как видео, симуляторы или интерактивные викторины. Такой подход может учитывать различные стили обучения и предпочтения, одновременно улучшая понимание учащимися концепций анализа свойств искусственных нейронных сетей.

BSc: StabilityTheoryOfNonlinearOperatorsForStudyingArtificialNeuralNetworkModels

Contents