StatisticalLearning 2014
Материал из SEWiki
Содержание
Программа
Прочитанные лекции
- Введение. Что такое statistical learning. Примеры. (05.09) Файл:SL-01-SLIntro.pdf
- И снова линейная регрессия. Оценивание. Проверка гипотез относительно коэффициентов. Доверительные интервалы для коэффициентов. (19.09) Файл:SL-02-Regression.pdf
- Категориальные переменные в регрессии. Выбор информативных признаков (немного). (26.09) Файл:SL-03-Regression.pdf Файл:SL-Advertising.zip
- Классификация. Линейные методы. Логистическая регрессия. (03.10) Файл:SL-04-Classification.pdf
- Классификация. Дискриминантный анализ. Понятие ROC-кривой, AUC. Naive Bayes. (10.10) Файл:SL-04-Classification.pdf
- Resampling: Кросс-валидация. Бутстреп. (17.10) Файл:SL-05-CVBoot.pdf
- Feature extraction: Principal Component Analysis. (24.10) Файл:SL-06-PCA.pdf
- Кластеризация (k-means, иерархическая, model based clustering) (31.11) Файл:SL-07-Clustering.pdf
- Снова о подборе линейной модели. Best subset selection. Forward / backward selection. AIC, BIC, Adjusted RSS, Mallow's C_p. Регуляризация (ridge regression, LASSO). Файл:SL-08-ModelSelection.pdf
Возможные темы будущих лекций
- Регрессия. Выбросы, гетероскедастичность, high leverage points.
- Снова о подборе линейной модели. Регуляризация (ridge regression, LASSO). Робастная регрессия.
- Нелинейности. Полиномиальная регрессия. Сплайны. Локальная регрессия. GAM.
- Деревья. Bagging. Boosting.
- Support vector machines
Материалы с практик
Конспект Файл:Rcourse.pdf (черновик). Будет обновляться. Внутри все листинги и результат выполнения + какие-то комментарии.
Результаты проверки заочных домашних заданий: Dropbox
- Сырая версия history от 5 и 19 сентября (выложил в виде отформатированного конспекта) Файл:Hist5sep.R.gz Файл:Hist19sep.R.gz. Домашнее задание Файл:Task 19sep.pdf
- Листинг для несостоявшегося занятия 26 сентября (будем с ним работать + еще немного) Файл:Hist26sep.R.gz
- Задание с 3 октября Файл:Task2.pdf, данные для задания Файл:Data3oct.tar.gz
- Задание с 10 октября Файл:Task3.pdf, данные для задания Файл:Data10oct.tar.gz
- Задание с 17 октября (обновил файл, добавил комментарий) Файл:Task4.pdf, данные из демонстрации Файл:Data17oct.tar.gz
- Задание с 24 октября Файл:Task5.pdf
- Задание с 28 октября Файл:Task6.pdf, данные Файл:Data28nov.tar.gz
Дедлайны
- 10 октября - деление на группы по проектам
- 24 октября - финализация темы проекта
- TBA - презентации проектов
Группы по проектам
- Герман Демидов *
- Бондарев Тимофей, Демидов Герман, Сидоров Святослав, Яснев Олег *
- Екатерина Старостина, Дмитрий Мелешко, Маргарита Аксешина, Елена Бушманова *
- Павел Авдеев, Татьяна Малыгина, Анна Лиознова, Надия Ситдыкова *
- Комаров Александр, Крыщенко Антон, Тураев Тимур, Устюжанина Екатерина *
- Андроник Ордиян, Аркадий Калакуцкий, Богдан Бугаев, Денис Жарков *
- Антон Иванов, Гончарова Ирина, Жирков Игорь *
- Гайдай Игорь, Карташов Никита, Новокрещенов Константин, Хабибуллин Марат *
- Коваленко, Ворончихин, Овчинников, Цветков *
- Атамась, Обедин, Лучихин, Афанасьев *
Результаты и итоги
Литература
Основная
- Hadley Wickham: "Advanced R" [1] - Достаточно краткое, но исчерпывающее руководство от очень известного R-гуру, автора множества пакетов
- Patrick Burns: "The R Inferno" [2] - "Ад R", потенциальные ошибки при программировании на R и способы их избежать. Рекомендуется к чтению после некоторого опыта в R
- Gareth James, Daniela Witten, Trevor Hastie and Robert Tibshirani: "An Introduction to Statistical Learning (with Applications in R)" [3] - ISL, введение в SL с примерами, основное пособие курса
- Trevor Hastie, Robert Tibshirani, Jerome Friedman: "The Elements of Statistical Learning"[4] - ESL, для тех, кому предыдущая книга покажется недостаточно подробной и глубокой. Больше теории и шире охват, но гораздо сложнее и нет примеров кода
Дополнительная
- [5] - Сайт lattice
- Sarkar, Deepayan: "Lattice. Multivariate Data Visualization with R" [6] - Исчерпывающий обзор графической системы "lattice" с примерами использования
- [7] - Сайт ggplot2
- Winston Chang: "R Graphics Cookbook" [8] - Введение в ggplot и рецепты
- Hadley Wickham: "ggplot2: Elegant Graphics for Data Analysis" [9] - Книга от создателя ggplot, для тех, кто хочет разобраться с внутренним устройством пакета и проектировать собственные графики
- Q. Ethan McCallum, Stephen Weston: "Parallel R. Data Analysis in the Distributed World " [10] - Книга содержит исчерпывающую информацию о параллельном программировании на R (включая кластеры и облака)