Машинное обучение

Краткое описание курса:
Годовой курс в 2012 году читался впервые; ниже приведена предварительная программа обеих частей годового курса. Первая часть курса посвящена основам байесовского вывода и в основном касается линейных моделей; вторая часть рассказывает о разнообразных графических моделях и методах вывода на них.

См. также страницу курса.

Программа

1. Введение в машинное обучение. История. Постановка задач: обучение с учителем, без учителя, с подкреплением. Теорема Байеса, пример: правило Лапласа.
2. Простейшие методы обучения с учителем: метод наименьших квадратов, метод ближайших соседей. Статистическая теория принятия решений. Линейная регрессия с байесовской точки зрения.
3. Проклятие размерности. Пример: полиномиальная аппроксимация, оверфиттинг. Регуляризация: гребневая регрессия. Разложение bias-variance-noise.
4. Линейная регрессия: регрессия с ядерными функциями, гребневая регрессия, лассо. Байесовский подход к линейной регрессии. Эквивалентное ядро.
5. Классификация: наименьшие квадраты, дискриминант Фишера. Перцептрон и доказательство сходимости его обучения.
6. Линейный дискриминантный анализ, квадратичный дискриминантный анализ. Наивный байесовский классификатор.
7. Логистическая регрессия. Итеративные перевзвешенные наименьшие квадраты. Логистическая регрессия для нескольких классов. Приближение по Лапласу. Байесовская логистическая регрессия.
8. Метод опорных векторов (SVM). Линейная разделимость и классификаторы, максимизирующие зазор. Квадратическая оптимизация. Трюк с ядрами и радиальные базисные функции.
9. Варианты SVM: ν-SVM, SVM с одним классом, SVM-регрессия. Байесовский подход к SVM: Relevance Vector Machines (RVM).
10. Кластеризация. Иерархическая кластеризация. Комбинаторные методы, алгоритмы теории графов. Алгоритм EM, его формальное обоснование. EM для кластеризации.
11. Скрытые марковские модели. Три задачи. Динамическое программирование: sum-product, max-sum, алгоритм Витерби. Алгоритм Баума-Уэлша. Вариации.
12. Объединение моделей. Бустинг. AdaBoost. Градиентный бустинг. AnyBoost. Слабые модели: деревья принятия решений. Минимизация экспоненциальной ошибки. RankBoost.
13. Искусственные нейронные сети. Алгоритм обратной пропагации ошибок. Примеры: RankNet и LambdaRank.