BSc: GenerativeModelsAndOptimalTransport - Revision history

V.matiukhin at 20:04, 2 April 2024

2024-04-02T20:04:50Z

← Older revision		Revision as of 20:04, 2 April 2024
Line 16:		Line 16:
	: '''Целью освоения дисциплины''' является изучение основных математических инструментов, используемых для построения генеративных моделей данных с использованием глубоких нейронных сетей.		: '''Целью освоения дисциплины''' является изучение основных математических инструментов, используемых для построения генеративных моделей данных с использованием глубоких нейронных сетей.

−	: '''Задачами дисциплины''' ~~являются~~ являются	+	: '''Задачами дисциплины''' являются
	*Ознакомление с различными постановками задач в области генеративного моделирования (условная и безусловная генерация, парный и непарный перенос домена).<br>		*Ознакомление с различными постановками задач в области генеративного моделирования (условная и безусловная генерация, парный и непарный перенос домена).<br>
	*Изучение основных принципов построения генеративных моделей и используемых функций потерь (дивергенции Кульбака-Лейблера, Фишера, метрика Вассерштейн и пр.).<br>		*Изучение основных принципов построения генеративных моделей и используемых функций потерь (дивергенции Кульбака-Лейблера, Фишера, метрика Вассерштейн и пр.).<br>

V.matiukhin at 15:06, 2 April 2024

2024-04-02T15:06:51Z

V.matiukhin at 15:05, 2 April 2024

2024-04-02T15:05:50Z

V.matiukhin: /* «Математический анализ» (второй семестр) */

2024-04-02T15:04:23Z

«Математический анализ» (второй семестр)

Show changes

V.matiukhin at 14:49, 2 April 2024

2024-04-02T14:49:37Z

Show changes

M.sokolovskii: Created page with "= Название дисциплины = : '''Квалификация выпускника''': бакалавр/ма..."

2024-02-08T22:24:16Z

Created page with "= <span style="color:red;">Название дисциплины</span> = : '''Квалификация выпускника''': <span style="color:red;">бакалавр/ма..."

Show changes

← Older revision		Revision as of 15:06, 2 April 2024
Line 90:		Line 90:
	\| Методы генеративного моделирования на основе на основе максимизации правдоподобия данных.		\| Методы генеративного моделирования на основе на основе максимизации правдоподобия данных.
	\| style="text-align:center;" \| Проверка выполнения домашнего практического задания.		\| style="text-align:center;" \| Проверка выполнения домашнего практического задания.
		+	\|
−	\| *Имплементация и обучение алгоритмов обучения смеси гауссиан на основе максимизации правдоподобия градиентным спуском и с помощью алгоритма expectation-maximization (EM GMM) на модельных и реальных многомерных данных.<br>	+	*Имплементация и обучение алгоритмов обучения смеси гауссиан на основе максимизации правдоподобия градиентным спуском и с помощью алгоритма expectation-maximization (EM GMM) на модельных и реальных многомерных данных.<br>
	*Имплементация и обучение модели генерации данных на основе функции энергии (EBM) с разными вариантами сэмплирования (importance, rejection, MCMC) на модельных систематических данных, сравнение подходов. Имплементация и обучение EBM в задаче генерации реальных изображений.<br>		*Имплементация и обучение модели генерации данных на основе функции энергии (EBM) с разными вариантами сэмплирования (importance, rejection, MCMC) на модельных систематических данных, сравнение подходов. Имплементация и обучение EBM в задаче генерации реальных изображений.<br>
	*Имплементация и обучение модели нормализующего потока (NF) на маломерных синтетических данных и реальных данных изображений.<br>		*Имплементация и обучение модели нормализующего потока (NF) на маломерных синтетических данных и реальных данных изображений.<br>
Line 100:		Line 101:
	\| Методы генеративного моделирования на основе состязательного обучения.		\| Методы генеративного моделирования на основе состязательного обучения.
	\| style="text-align:center;" \| Проверка выполнения домашнего практического задания.		\| style="text-align:center;" \| Проверка выполнения домашнего практического задания.
		+	\|
−	\|*Имплементация и обучение модели vanilla GAN с JS функцией потерь, а также её вариациями (non-saturating функция потерь, регуляризации типа R1 и др.) для генерации модельных данных и реальных данных изображений в безусловной и условной постановке задачи генерации, а также для задач переноса домена на парных и непарных данных (Pix2Pix и CycleGAN). Имплементация и обучение модели типа f-GAN с общими f-Divergence функциями потерь, включая KL дивергенцию для задачи генерации модельных данных и реальных данных изображений.<br>	+	*Имплементация и обучение модели vanilla GAN с JS функцией потерь, а также её вариациями (non-saturating функция потерь, регуляризации типа R1 и др.) для генерации модельных данных и реальных данных изображений в безусловной и условной постановке задачи генерации, а также для задач переноса домена на парных и непарных данных (Pix2Pix и CycleGAN). Имплементация и обучение модели типа f-GAN с общими f-Divergence функциями потерь, включая KL дивергенцию для задачи генерации модельных данных и реальных данных изображений.<br>
	*Имплементация и обучение модели Wasserstein-GAN (в различных вариациях: weight clipping, gradient penalty и др.) для задач безусловной и условной генерации реальных изображений.<br>		*Имплементация и обучение модели Wasserstein-GAN (в различных вариациях: weight clipping, gradient penalty и др.) для задач безусловной и условной генерации реальных изображений.<br>

Line 112:		Line 114:
	\| style="width:65%" \| Вопросы		\| style="width:65%" \| Вопросы
	\|- style="vertical-align:middle; background-color:#F8F9FA; color:#202122;"		\|- style="vertical-align:middle; background-color:#F8F9FA; color:#202122;"
−	\| style="text-align:center;" \| 1. \|\| Методы генеративного моделирования на основе на основе максимизации правдоподобия данных. \|\| *Идеи явного и неявного моделирования функции плотности распределения. Дивергенция Кульбака-Лейблера (КЛ) и ее основные свойства. Принцип минимизации КЛ дивергенции и эквивалентность максимизации правдоподобия данных. Модель данных на основе смеси гауссиан (Gaussian Mixture Model, GMM). Нижняя вариационная граница (Evidence Lower Bound, ELBO). Идея подхода со скрытыми переменными. Алгоритм ожидания-максимизации (Expectation-Maximization, EM) для GMM.<br>	+	\| style="text-align:center;" \| 1. \|\| Методы генеративного моделирования на основе на основе максимизации правдоподобия данных. \|\|
		+	*Идеи явного и неявного моделирования функции плотности распределения. Дивергенция Кульбака-Лейблера (КЛ) и ее основные свойства. Принцип минимизации КЛ дивергенции и эквивалентность максимизации правдоподобия данных. Модель данных на основе смеси гауссиан (Gaussian Mixture Model, GMM). Нижняя вариационная граница (Evidence Lower Bound, ELBO). Идея подхода со скрытыми переменными. Алгоритм ожидания-максимизации (Expectation-Maximization, EM) для GMM.<br>
	*Принцип моделирования распределения с помощью функции энергии. Методы сэмплирования из ненормированной плотности (importance sampling, rejection sampling, langevin dynamic, и др). Градиент функционала КЛ дивергенции в случае моделирования функции энергии (energy-based models, EBM), алгоритм обучения и семплирования EBM.<br>		*Принцип моделирования распределения с помощью функции энергии. Методы сэмплирования из ненормированной плотности (importance sampling, rejection sampling, langevin dynamic, и др). Градиент функционала КЛ дивергенции в случае моделирования функции энергии (energy-based models, EBM), алгоритм обучения и семплирования EBM.<br>
	*Моделирования распределений с помощью обратимых преобразований с быстро-вычислимым якобианом. Нормализующие потоки, особенности их архитектур и принцип обучения модели.<br>		*Моделирования распределений с помощью обратимых преобразований с быстро-вычислимым якобианом. Нормализующие потоки, особенности их архитектур и принцип обучения модели.<br>
Line 119:		Line 122:

	\|- style="vertical-align:middle; background-color:#F8F9FA; color:#202122;"		\|- style="vertical-align:middle; background-color:#F8F9FA; color:#202122;"
		+	\| style="text-align:center;" \| 2. \|\| Методы генеративного моделирования на основе состязательного обучения. \|\|
−	~~\| style="text-align:center;" \| 2. \|\| Методы генеративного моделирования на основе состязательного обучения. \|\|~~*Идея неявного генеративного моделирования данных. Дивергенция Дженсена-Шеннона (Jensen-Shannon, JS) и ее свойства. Сложность минимизации дивергенции между распределениями данных. Двойственная форма дивергенции Дженсена-Шеннона. Интерпретация через решение задачи классификации. Вариационная оценка JS в задаче оптимизации дивергенции. Идея состязательного обучения. Генеративные состязательные нейросети (vanilla Generative Adversarial Networks, vanilla GAN). Ключевые составные элементы состязательного обучения: оптимизаторы, архитектуры, регуляризации и пр. Non-saturating функция потерь, архитектура StyleGAN. Переход от vanilla GAN к общим f-GAN через двойственную форму f-дивергенций.<br>	+	*Идея неявного генеративного моделирования данных. Дивергенция Дженсена-Шеннона (Jensen-Shannon, JS) и ее свойства. Сложность минимизации дивергенции между распределениями данных. Двойственная форма дивергенции Дженсена-Шеннона. Интерпретация через решение задачи классификации. Вариационная оценка JS в задаче оптимизации дивергенции. Идея состязательного обучения. Генеративные состязательные нейросети (vanilla Generative Adversarial Networks, vanilla GAN). Ключевые составные элементы состязательного обучения: оптимизаторы, архитектуры, регуляризации и пр. Non-saturating функция потерь, архитектура StyleGAN. Переход от vanilla GAN к общим f-GAN через двойственную форму f-дивергенций.<br>
	*Адаптация моделей GAN для решения задач переноса домена, например, генерации типа image-to-image. Модель conditional GAN для обучения с учителем на парных данных (Pix2Pix) и циклический GAN для обучения на непарных данных (CycleGAN).<br>		*Адаптация моделей GAN для решения задач переноса домена, например, генерации типа image-to-image. Модель conditional GAN для обучения с учителем на парных данных (Pix2Pix) и циклический GAN для обучения на непарных данных (CycleGAN).<br>
	*Проблемы метрики типа f-дивиргенций. Метрика оптимального транспорта Канторовича и идея ее оптимизации. Двойственная форма для расстояния Васерштейна-1. Алгоритм Wasserstein GAN и его вариации (gradient penalty, weight clipping). <br>		*Проблемы метрики типа f-дивиргенций. Метрика оптимального транспорта Канторовича и идея ее оптимизации. Двойственная форма для расстояния Васерштейна-1. Алгоритм Wasserstein GAN и его вариации (gradient penalty, weight clipping). <br>

← Older revision		Revision as of 15:05, 2 April 2024
Line 43:		Line 43:
	\| style="width:60%" \| Содержание дисциплины по темам		\| style="width:60%" \| Содержание дисциплины по темам
	\|- style="vertical-align:middle; background-color:#F8F9FA; color:#202122;"		\|- style="vertical-align:middle; background-color:#F8F9FA; color:#202122;"
−	\| style="text-align:center;" \| 1. \|\| Методы генеративного моделирования на основе на основе максимизации правдоподобия данных. \|\| *Идеи явного и неявного моделирования функции плотности распределения. Дивергенция Кульбака-Лейблера (КЛ) и ее основные свойства. Принцип минимизации КЛ дивергенции и эквивалентность максимизации правдоподобия данных. Модель данных на основе смеси гауссиан (Gaussian Mixture Model, GMM). Нижняя вариационная граница (Evidence Lower Bound, ELBO). Идея подхода со скрытыми переменными. Алгоритм ожидания-максимизации (Expectation-Maximization, EM) для GMM. <br>	+	\| style="text-align:center;" \| 1. \|\| Методы генеративного моделирования на основе на основе максимизации правдоподобия данных. \|\|
		+	*Идеи явного и неявного моделирования функции плотности распределения. Дивергенция Кульбака-Лейблера (КЛ) и ее основные свойства. Принцип минимизации КЛ дивергенции и эквивалентность максимизации правдоподобия данных. Модель данных на основе смеси гауссиан (Gaussian Mixture Model, GMM). Нижняя вариационная граница (Evidence Lower Bound, ELBO). Идея подхода со скрытыми переменными. Алгоритм ожидания-максимизации (Expectation-Maximization, EM) для GMM. <br>
	*Принцип моделирования распределения с помощью функции энергии. Методы сэмплирования из ненормированной плотности (importance sampling, rejection sampling, langevin dynamic, и др). Градиент функционала КЛ дивергенции в случае моделирования функции энергии (energy-based models, EBM), алгоритм обучения и семплирования EBM. <br>		*Принцип моделирования распределения с помощью функции энергии. Методы сэмплирования из ненормированной плотности (importance sampling, rejection sampling, langevin dynamic, и др). Градиент функционала КЛ дивергенции в случае моделирования функции энергии (energy-based models, EBM), алгоритм обучения и семплирования EBM. <br>
	*Моделирования распределений с помощью обратимых преобразований с быстро-вычислимым якобианом. Нормализующие потоки, особенности их архитектур и принцип обучения модели. <br>		*Моделирования распределений с помощью обратимых преобразований с быстро-вычислимым якобианом. Нормализующие потоки, особенности их архитектур и принцип обучения модели. <br>
Line 50:		Line 51:

	\|- style="background-color:#F8F9FA; color:#202122;"		\|- style="background-color:#F8F9FA; color:#202122;"
		+	\| style="text-align:center;" \| 2. \|\| Методы генеративного моделирования на основе состязательного обучения. \|\|
−	~~\| style="text-align:center;" \| 2. \|\| Методы генеративного моделирования на основе состязательного обучения. \|\|~~ *Идея неявного генеративного моделирования данных. Дивергенция Дженсена-Шеннона (Jensen-Shannon, JS) и ее свойства. Сложность минимизации дивергенции между распределениями данных. Двойственная форма дивергенции Дженсена-Шеннона. Интерпретация через решение задачи классификации. Вариационная оценка JS в задаче оптимизации дивергенции. Идея состязательного обучения. Генеративные состязательные нейросети (vanilla Generative Adversarial Networks, vanilla GAN). Ключевые составные элементы состязательного обучения: оптимизаторы, архитектуры, регуляризации и пр. Non-saturating функция потерь, архитектура StyleGAN. Переход от vanilla GAN к общим f-GAN через двойственную форму f-дивергенций.<br>	+	*Идея неявного генеративного моделирования данных. Дивергенция Дженсена-Шеннона (Jensen-Shannon, JS) и ее свойства. Сложность минимизации дивергенции между распределениями данных. Двойственная форма дивергенции Дженсена-Шеннона. Интерпретация через решение задачи классификации. Вариационная оценка JS в задаче оптимизации дивергенции. Идея состязательного обучения. Генеративные состязательные нейросети (vanilla Generative Adversarial Networks, vanilla GAN). Ключевые составные элементы состязательного обучения: оптимизаторы, архитектуры, регуляризации и пр. Non-saturating функция потерь, архитектура StyleGAN. Переход от vanilla GAN к общим f-GAN через двойственную форму f-дивергенций.<br>
	*Адаптация моделей GAN для решения задач переноса домена, например, генерации типа image-to-image. Модель conditional GAN для обучения с учителем на парных данных (Pix2Pix) и циклический GAN для обучения на непарных данных (CycleGAN).<br>		*Адаптация моделей GAN для решения задач переноса домена, например, генерации типа image-to-image. Модель conditional GAN для обучения с учителем на парных данных (Pix2Pix) и циклический GAN для обучения на непарных данных (CycleGAN).<br>
	*Проблемы метрики типа f-дивиргенций. Метрика оптимального транспорта Канторовича и идея ее оптимизации. Двойственная форма для расстояния Васерштейна-1. Алгоритм Wasserstein GAN и его вариации (gradient penalty, weight clipping). <br>		*Проблемы метрики типа f-дивиргенций. Метрика оптимального транспорта Канторовича и идея ее оптимизации. Двойственная форма для расстояния Васерштейна-1. Алгоритм Wasserstein GAN и его вариации (gradient penalty, weight clipping). <br>
Line 71:		Line 73:
	*Имплементация и обучение модели на основе score-matching. Тестирование на маломерных синтетических данных и реальных данных изображений.<br>		*Имплементация и обучение модели на основе score-matching. Тестирование на маломерных синтетических данных и реальных данных изображений.<br>
	\|- style="vertical-align:middle; background-color:#F8F9FA; color:#202122;"		\|- style="vertical-align:middle; background-color:#F8F9FA; color:#202122;"
		+	\| style="text-align:center;" \| 2. \|\| Методы генеративного моделирования на основе состязательного обучения. \|\|
−	~~\| style="text-align:center;" \| 2. \|\| Методы генеративного моделирования на основе состязательного обучения. \|\|~~ *Имплементация и обучение модели vanilla GAN с JS функцией потерь, а также её вариациями (non-saturating функция потерь, регуляризации типа R1 и др.) для генерации модельных данных и реальных данных изображений в безусловной и условной постановке задачи генерации, а также для задач переноса домена на парных и непарных данных (Pix2Pix и CycleGAN). Имплементация и обучение модели типа f-GAN с общими f-Divergence функциями потерь, включая KL дивергенцию для задачи генерации модельных данных и реальных данных изображений.<br>	+	*Имплементация и обучение модели vanilla GAN с JS функцией потерь, а также её вариациями (non-saturating функция потерь, регуляризации типа R1 и др.) для генерации модельных данных и реальных данных изображений в безусловной и условной постановке задачи генерации, а также для задач переноса домена на парных и непарных данных (Pix2Pix и CycleGAN). Имплементация и обучение модели типа f-GAN с общими f-Divergence функциями потерь, включая KL дивергенцию для задачи генерации модельных данных и реальных данных изображений.<br>
	*Имплементация и обучение модели Wasserstein-GAN (в различных вариациях: weight clipping, gradient penalty и др.) для задач безусловной и условной генерации реальных изображений.<br>		*Имплементация и обучение модели Wasserstein-GAN (в различных вариациях: weight clipping, gradient penalty и др.) для задач безусловной и условной генерации реальных изображений.<br>