BSc: ReinforcementLearning
Название дисциплины
- Квалификация выпускника: бакалавр
- Направление подготовки: 09.03.01 - “Информатика и вычислительная техника”
- Направленность (профиль) образовательной программы: Математические основы ИИ
- Программу разработал(а): Тяпкин Д.Н.
1. Краткая характеристика дисциплины
Изучение дисциплины обеспечивает формирование и развитие компетенций обучающихся в области машинного обучения и обучения с подкреплением, их применение для решения различных прикладных задач в рамках профессиональной деятельности. В ходе освоения дисциплины обучающиеся рассматривают основы обучения с подкреплением, включая моделирование среды, оценку стратегий, и методы оптимизации стратегий поведения агентов в неопределенных условиях. Особое внимание уделяется алгоритмам временной разницы (TD), Q-обучения, SARSA, методам градиента политики, а также исследованию компромисса между исследованием и использованием имеющихся данных.
2. Перечень планируемых результатов обучения
- Целью освоения дисциплины является изучение методов обучения с подкреплением и получение студентами навыков теоретического анализа и имплементации различных алгоритмов обучения с подкреплением.
- Задачами дисциплины являются:
- Знание основных методов и алгоритмов обучения с подкреплением. - Умение формулировать задачи обучения с подкреплением и применять алгоритмы для их решения. - Навыки реализации моделей и алгоритмов обучения с подкреплением в различных средах.
Общая характеристика результата обучения по дисциплине
- Знания: сформированы систематические знания ...
(информация, которой обладает обучающийся в определенных областях, полученная в процессе обучения, то есть это информация для осуществления какой-либо деятельности (действия))
- Умения: сформированы умения ...
(предполагает целенаправленное выполнение действий, по изученной информации)
- Навыки (владения): сформировано владение навыками ...
(автоматизированные устойчивые умения выполнять определенную работу, то есть действие выполняется без контроля сознания, автоматически)
3. Структура и содержание дисциплины
(Указываются: 1) порядковый номер раздела (количество разделов зависит от содержания Вашей дисциплины); 2) наименования разделов дисциплины; 3) темы указанных разделов (количество тем в каждом разделе зависит от содержания Вашей дисциплины)
| № п/п |
Наименование раздела дисциплины |
Содержание дисциплины по темам |
| 1. | - - - - | |
| 2. | - - - - | |
| 3. | - - - - | |
| 4. | - - - - | |
| 5. | - - - - | |
| ... | - - - - |
4. Методические и оценочные материалы
Задания для практических занятий:
| № п/п |
Наименование раздела дисциплины (модуля) |
Перечень рассматриваемых тем (вопросов) (Указываются ВСЕ задания для практических занятий по разделам дисциплины подробно в соответствии с темами) |
| 1. | ||
| 2. | ||
| 3. | ||
| 4. | ||
| 5. | ||
| ... |
Текущий контроль успеваемости обучающихся по дисциплине:
(К формам текущего контроля можно отнести собеседование, коллоквиум, тест, контрольную работу, лабораторную работу, эссе, реферат и иные творческие работы.)
| № п/п |
Наименование раздела дисциплины |
Форма текущего контроля (выберите соответствующие формы контроля) |
Материалы текущего контроля (Указываются ВСЕ ЗАДАНИЯ/ВОПРОСЫ текущего контроля успеваемости обучающихся по разделам дисциплины подробно в соответствии с требованиями) |
| 1. | Проверка выполнения домашних заданий; Устный / письменный опрос; Тестирование (письменное или компьютерное); Эссе; Доклад; Защита проекта; Коллоквиум; Проверка разработки отдельных частей кода программного продукта и другие формы текущего контроля, используемые Вами на занятиях |
Например:
Устный / письменный опрос: Другие формы текущего контроля, используемые Вами на занятиях | |
| 2. | Проверка выполнения домашних заданий; Устный / письменный опрос; Тестирование (письменное или компьютерное); Эссе; Доклад; Защита проекта; Коллоквиум; Проверка разработки отдельных частей кода программного продукта и другие формы текущего контроля, используемые Вами на занятиях |
||
| 3. | Проверка выполнения домашних заданий; Устный / письменный опрос; Тестирование (письменное или компьютерное); Эссе; Доклад; Защита проекта; Коллоквиум; Проверка разработки отдельных частей кода программного продукта и другие формы текущего контроля, используемые Вами на занятиях |
||
| 4. | Проверка выполнения домашних заданий; Устный / письменный опрос; Тестирование (письменное или компьютерное); Эссе; Доклад; Защита проекта; Коллоквиум; Проверка разработки отдельных частей кода программного продукта и другие формы текущего контроля, используемые Вами на занятиях |
||
| 5. | Проверка выполнения домашних заданий; Устный / письменный опрос; Тестирование (письменное или компьютерное); Эссе; Доклад; Защита проекта; Коллоквиум; Проверка разработки отдельных частей кода программного продукта и другие формы текущего контроля, используемые Вами на занятиях |
||
| ... |
Контрольные вопросы для подготовки к промежуточной аттестации:
| № п/п |
Наименование раздела дисциплины |
Вопросы |
| 1. | ||
| 2. | ||
| 3. | ||
| 4. | ||
| 5. | ||
| ... |
Вопросы/Задания к промежуточной аттестации в устной/письменной форме:
(Указываются ВСЕ ЗАДАНИЯ/ВОПРОСЫ для промежуточной аттестации.)
1.
2.
3.
...
48.
49.
50.
...
Перечень учебно-методического обеспечения дисциплины
Список основной литературы:
Список дополнительной литературы:
Методические указания для обучающихся по освоению дисциплины
(Указываются рекомендации для обучающихся, которые раскрывают суть их работы при различных видах деятельности в рамках освоения дисциплины. Данные рекомендации должны охватывать работу с лекционным материалом, подготовку и работу во время проведения семинарских занятий, самостоятельную работу, подготовку к текущему контролю и промежуточной аттестации)
(Выберите соответствующие виды учебных занятий, которые используются при изучении Вашей дисциплины)
| Вид учебных занятий/деятельности |
Деятельность обучающегося |
| Лекция | Написание конспекта лекций: кратко, схематично, последовательно фиксировать основные положения лекции, выводы, формулировки, обобщения; помечать важные мысли, выделять ключевые слова, термины. Обозначить вопросы, термины или другой материал, который вызывает трудности, пометить и попытаться найти ответ в рекомендуемой литературе. Если самостоятельно не удается разобраться в материале, необходимо сформулировать вопрос и задать преподавателю на консультации, во время семинарского (практического) занятия. |
| Практическое (семинарское) занятие | При подготовке к семинарскому (практическому) занятию необходимо проработать материалы лекций, основной и дополнительной литературы по заданной теме. На основании обработанной информации постараться сформировать собственное мнение по выносимой на обсуждение тематике. Обосновать его аргументами, сформировать список источников, подкрепляющих его. Во время семинарского (практического) занятия активно участвовать в обсуждении вопросов, высказывать аргументированную точку зрения на проблемные вопросы. Приводить примеры из источниковой базы и научной и/или исследовательской литературы. |
| Устный/письменный опрос | Отвечать, максимально полно, логично и структурировано, на поставленный вопрос. Основная цель – показать всю глубину знаний по конкретной теме или ее части. |
| Реферат | Поиск источников и литературы, составление библиографии. При написании реферата рекомендуется использовать разнообразные источники, монографии и статьи из научных журналов, позволяющие глубже разобраться в различных точках зрения на заданную тему. Изучение литературы следует начинать с наиболее общих трудов, затем следует переходить к освоению специализированных исследований по выбранной теме. Могут быть использованы ресурсы сети «Интернет» с соответствующими ссылками на использованные сайты. Если тема содержит проблемный вопрос, следует сформулировать разные точки зрения на него. Рекомендуется в выводах указать свое собственное аргументированное мнение по данной проблеме. Подготовить презентацию для защиты реферата. |
| Эссе | Написание прозаического сочинения небольшого объема и свободной композиции, выражающего индивидуальные впечатления и соображения по конкретному поводу или вопросу и заведомо не претендующего на определяющую или исчерпывающую трактовку предмета. При работе над эссе следует четко и грамотно формулировать мысли, структурировать информацию, использовать основные понятия, выделять причинно-следственные связи. Как правило эссе имеет следующую структуру: вступление, тезис и аргументация его, заключение. В качестве аргументов могут выступать исторические факты, явления общественной жизни, события, жизненные ситуации и жизненный опыт, научные доказательства, ссылки на мнение ученых и др. |
| Подготовка к промежуточной аттестации | При подготовке к промежуточной аттестации необходимо проработать вопросы по темам, которые рекомендуются для самостоятельной подготовки. При возникновении затруднений с ответами следует ориентироваться на конспекты лекций, семинаров, рекомендуемую литературу, материалы электронных и информационных справочных ресурсов, статей. Если тема вызывает затруднение, четко сформулировать проблемный вопрос и задать его преподавателю. |
| Практические (лабораторные) занятия | Практические занятия предназначены прежде всего для разбора отдельных сложных положений, тренировки аналитических навыков, а также для развития коммуникационных навыков. Поэтому на практических занятиях необходимо участвовать в тех формах обсуждения материала, которые предлагает преподаватель: отвечать на вопросы преподавателя, дополнять ответы других студентов, приводить примеры, задавать вопросы другим выступающим, обсуждать вопросы и выполнять задания в группах. Работа на практических занятиях подразумевает домашнюю подготовку и активную умственную работу на самом занятии. Работа на практических занятиях в форме устного опроса заключается прежде всего в тренировке навыков применять теоретические положения к самому разнообразному материалу. В ходе практических занятий студенты работают в группах для обсуждения предлагаемых вопросов. |
| Самостоятельная работа | Самостоятельная работа состоит из следующих частей: 1) чтение учебной, справочной, научной литературы; 2) повторение материала лекций; 3) составление планов устных выступлений; 4) подготовка видеопрезентации. При чтении учебной литературы нужно разграничивать для себя материал на отдельные проблемы, концепции, идеи. Учебную литературу можно найти в электронных библиотечных системах, на которые подписан АНО Университет Иннополис. |
| Видеопрезентация | Подготовка видеопрезентаций по курсу. Видеопрезентации могут быть сделаны на любую тему, затронутую в ходе курса. Темы должны быть заранее согласованы с преподавателем. Видеопрезентации продолжительностью около 5 минут (300 секунд) должны быть подготовлены в группах, определяемых преподавателем. Несмотря на то, что это групповая работа, должен явно присутствовать вклад каждого члена группы. |
| Доклад | Публичное, развернутое сообщение по определенной теме или вопросу, основанное на документальных данных. При подготовке доклада рекомендуется использовать разнообразные источники, позволяющие глубже разобраться в теме. Учебную литературу можно найти в электронных библиотечных системах, на которые подписан АНО Университет Иннополис. |
| Дискуссия | Публичное обсуждение спорного вопроса, проблемы. Каждая сторона должна оппонировать мнение собеседника, аргументируя свою позицию. |
| Контрольная работа | При подготовке к контрольной работе необходимо проработать материалы лекций, семинаров, основной и дополнительной литературы по заданной теме. |
| Тестирование (устное/письменное) | При подготовке к тестированию необходимо проработать материалы лекций, семинаров, основной и дополнительной литературы по заданной теме. Основная цель тестирования – показать уровень сформированности знаний по конкретной теме или ее части. |
| Индивидуальная работа | При выполнение индивидуальной работы необходимо взять задание у преподавателя, ознакомиться с требованиями к выполнению работы, изучить поставленную проблему, найти решение проблемы. Если самостоятельно не удается разобраться в материале, необходимо сформулировать вопрос и задать преподавателю на консультации, во время семинарского (практического) занятия. Оформить результаты работы. |
| Разработка отдельных частей кода | Разработать часть кода, исходя из поставленной задачи и рекомендаций преподавателя. При выполнении работы рекомендуется обращаться к материалам лекций и семинарских (практических) занятий. Если возникают затруднения, необходимо проконсультироваться с преподавателем. |
| Выполнение домашних заданий и групповых проектов | Для выполнения домашних заданий и групповых проектов необходимо получить формулировку задания от преподавателя и убедиться в понимании задания. При выполнение домашних заданий и групповых проектов необходимо проработать материалы лекций, основной и дополнительной литературы по заданной теме. |
Методы и технологии обучения, способствующие формированию компетенции
(Указываются все используемые преподавателем методы и технологии обучения)
| Методы и технологии обучения, способствующие формированию компетенции |
Например:
| 1. | Информационно – коммуникационная технология | |
| 2. | Технология развития критического мышления | Основные методические приемы развития критического мышления
|
| 3. | Проектная технология | |
| 4. | Технология проблемного обучения | |
| 5. | Кейс – технология | К методам кейс-технологий, активизирующим учебный процесс, относятся:
|
| 6. | Технология интегрированного обучения | |
| 7. | Педагогика сотрудничества | |
| 8. | Технологии уровневой дифференциации | |
| 9. | Групповая технология | |
| 10. | Традиционные технологии (классно-урочная система) | |
| 11. | Здоровьесберегающие технологии | |
| 12. | Игровая технология | |
| 13. | Модульная технология | |
| 14. | Технология мастерских | |
| и др. |