StatisticalLearning 2014

Программа

Прочитанные лекции

1. Введение. Что такое statistical learning. Примеры. (05.09)

Возможные темы будущих лекций

1. И снова линейная регрессия. Оценивание. Проверка гипотез относительно коэффициентов. Доверительные интервалы для коэффициентов. Категориальные переменные в регрессии. Выбор информативных признаков (немного). Выбросы, гетероскедастичность, high leverage points.
2. Классификация. Линейные методы. Логистическая регрессия. Дискриминантный анализ. Понятие ROC-кривой, AUC. Naive Bayes.
3. Resampling: Кросс-валидация. Бутстреп.
4. Снова о подборе линейной модели. Регуляризация (ridge regression, LASSO, elastic net). Робастная регрессия.
5. Нелинейности. Полиномиальная регрессия. Сплайны. Локальная регрессия. GAM.
6. Деревья. Bagging. Boosting.
7. Support vector machines
8. Unsupervised learning: PCA, кластеризация (k-means, иерархическая), model based clustering.

Литература

Основная

1. Hadley Wickham: "Advanced R" [1] - Достаточно краткое, но исчерпывающее руководство от очень известного R-гуру, автора множества пакетов
2. Patrick Burns: "The R Inferno" [2] - "Ад R", потенциальные ошибки при программировании на R и способы их избежать. Рекомендуется к чтению после некоторого опыта в R
3. Gareth James, Daniela Witten, Trevor Hastie and Robert Tibshirani: "An Introduction to Statistical Learning (with Applications in R)" [3] - ISL, введение в SL с примерами, основное пособие курса
4. Trevor Hastie, Robert Tibshirani, Jerome Friedman: "The Elements of Statistical Learning"[4] - ESL, для тех, кому предыдущая книга покажется недостаточно подробной и глубокой. Больше теории и шире охват, но гораздо сложнее и нет примеров кода