Машинное обучение 2017 — различия между версиями
Материал из SEWiki
Ekaterina (обсуждение | вклад) |
Ekaterina (обсуждение | вклад) |
||
| (не показано 78 промежуточных версий 2 участников) | |||
| Строка 2: | Строка 2: | ||
== Лекции == | == Лекции == | ||
| − | 1. | + | 1. [http://mit.spbau.ru/sewiki/images/e/ef/ML17-Lecture1.pdf 15 февраля, "Введение"]<br/> |
| − | 2. | + | 2. [http://mit.spbau.ru/sewiki/images/9/98/ML17-Lecture2.pdf 22 февраля, "Метрические классификаторы"] <br/> |
| − | 3. | + | 3. [http://mit.spbau.ru/sewiki/images/a/a8/ML17-Lecture3.pdf 1 марта, "Кластеризация"]<br/> |
| − | 4. 15 марта, "Деревья принятия решений" <br/> | + | 4. [http://mit.spbau.ru/sewiki/images/c/c4/ML17-Lecture4.pdf 15 марта, "Деревья принятия решений"] <br/> |
| − | 5. 22 марта, "Байесовские методы классификации" <br/> | + | 5. [http://mit.spbau.ru/sewiki/images/3/33/ML17-Lecture5.pdf 22 марта, "Байесовские методы классификации"] <br/> |
| − | 6. 29 марта, "Перцептрон" <br/> | + | 6. [http://mit.spbau.ru/sewiki/images/1/13/ML17-Lecture6.pdf 29 марта, "Перцептрон"] <br/> |
| − | 7. 5 апреля, " | + | 7. [http://mit.spbau.ru/sewiki/images/1/19/ML17-Lecture7.pdf 5 апреля, "Способность к обобщению"] <br/> |
| − | 8. 12 апреля, "Нейронные сети" <br/> | + | 8. [http://mit.spbau.ru/sewiki/images/3/39/ML17-Lecture8.pdf 12 апреля, "Нейронные сети"] <br/> |
| − | 9. 19 апреля, "Метод опорных векторов" <br/> | + | 9. [http://mit.spbau.ru/sewiki/images/8/83/ML17-Lecture9.pdf 19 апреля, "Метод опорных векторов"] <br/> |
| − | 10. 26 апреля, "Линейная регрессия" <br/> | + | 10. [http://mit.spbau.ru/sewiki/images/9/99/ML17-Lecture10.pdf 26 апреля, "Линейная регрессия"] <br/> |
| − | 11. 3 мая, "Анализ смещения и разброса" <br/> | + | 11. [http://mit.spbau.ru/sewiki/images/2/2e/ML17-Lecture11.pdf 3 мая, "Анализ смещения и разброса"] <br/> |
| − | 12. | + | 12. [http://mit.spbau.ru/sewiki/images/b/b9/ML17-Lecture12.pdf 10 мая, "Методы восстановления регрессии"] <br/> |
| − | 13. | + | 13. [http://mit.spbau.ru/sewiki/images/e/e6/ML17-Lecture13.pdf 17 мая, "Ансамбли"] <br/> |
| + | == Вопросы к экзамену. == | ||
| + | |||
| + | [http://mit.spbau.ru/sewiki/images/4/47/ML17-ExamQuestions.pdf Вопросы] | ||
| + | |||
| + | <!-- | ||
| + | == Комментарии к лекциям == | ||
| + | |||
| + | Лекция 10.<br/> | ||
| + | В лекции использовано [https://en.wikipedia.org/wiki/Singular_value_decomposition#Reduced_SVDs "экономное"(усечённое) сингулярное разложение] <br/> | ||
| + | Размер матрицы V (l x n). Для неквадратных матриц условие ортогональности раздельное по строкам и столбцам. Таким образом из условия V^T V = I не следует что V V^T = I (см [https://en.wikipedia.org/wiki/Orthogonal_matrix#Rectangular_matrices здесь]) | ||
| + | |||
| + | == Конспекты лекций == | ||
| + | |||
| + | 1. [https://docs.google.com/document/d/126_M60TvnTRgHW3S1qLnpjIUcnUaXhGQ4TGQ_iFJVzc/edit?usp=sharing "Введение"]<br/> | ||
| + | 2. [https://docs.google.com/document/d/1GmnQmxNrbx-BHGCMTW7b17XktLZdcQa1p3e0nIfoVVE/edit?usp=sharing "Метрические методы классификации"] <br/> | ||
| + | 3. [https://docs.google.com/document/d/1q4FK7iDpWr-vGsJQV68ugMTzqLRhAzK0JERu99ySWSM/edit?usp=sharing "Кластеризация"] <br/> | ||
| + | 4. [https://docs.google.com/document/d/1eoJGEsMZ1Oooo-4nLMh7JtwvHKJW_eZEmZGb7b3ToLY/edit?usp=sharing "Деревья принятия решений"] <br/> | ||
| + | 5. [https://docs.google.com/document/d/1gwH3qHSr-W5ObXP9it0ggK-794sF21sHBMI7tx_edpU/edit?usp=sharing "Байесовские методы классификации"] <br/> | ||
| + | 6. [https://docs.google.com/document/d/1alG1KUyUId7QzMQVi-r8-Qnb5ziqTt50Nltevr5rcM0/edit?usp=sharing "Линейные методы классификации"]<br/> | ||
| + | 7. [https://docs.google.com/document/d/1KDGwcARgqjRO73c8xpZIZlisKTxnkdm29EU4voHm25k/edit?usp=sharing "Способность к обобщению"]<br/> | ||
| + | 8. [https://docs.google.com/document/d/1ALiZc87qNfQ1IFS2_DbXxQi2SHmDe-tetQh_9ViGrvY/edit?usp=sharing "Нейронные сети"]<br/> | ||
| + | 9. [https://docs.google.com/document/d/15ZknT85Stzrq4JbCgPtlk3aCP_3PeAV2y_VJg9fea3Q/edit?usp=sharing "Метод опорных векторов"]<br/> | ||
| + | 10. [https://docs.google.com/document/d/1_alGuG7SJSugYj44eOJj-CZZnzxcaHutjIPj_5UsrFo/edit?usp=sharing "Линейная регрессия"] <br/> | ||
| + | 11. [https://docs.google.com/document/d/1T3qOWULlVxz9NdHPN4OiD25ojoR2NC8t2j7c2f7Bq4o/edit?usp=sharing "Анализ смещения и разброса"]<br/> | ||
| + | 12. [https://docs.google.com/document/d/1fBT35KzkO6tEgNyHkpvK_dN3RWS5XCIlpR4n_TcuzbE/edit?usp=sharing "Восстановление регрессии"]<br/> | ||
| + | 13. [https://docs.google.com/document/d/1DgHZh5stZAuSGxZDbFpDAqfHPrtx8GL1THeewEVQzqE/edit?usp=sharing "Ансамбли"] <br/> | ||
| + | <br/> | ||
| + | Конспект ведут Надежда Бугакова, Анастасия Гайдашенко, Александра Малышева и Ольга Черникова. <br/> | ||
| + | Комментарии и правки приветствуются.<br/> | ||
| + | --> | ||
| + | |||
| + | <!-- | ||
== Домашние задания. == | == Домашние задания. == | ||
Адрес, на который надо присылать решения -- '''machine.teaching@gmail.com'''. <br/> | Адрес, на который надо присылать решения -- '''machine.teaching@gmail.com'''. <br/> | ||
| Строка 25: | Строка 57: | ||
Условие — [http://mit.spbau.ru/sewiki/images/0/03/ML17-homework1.pdf Домашнее задание 1]<br/> | Условие — [http://mit.spbau.ru/sewiki/images/0/03/ML17-homework1.pdf Домашнее задание 1]<br/> | ||
| + | |||
| + | 2. Comic-Con и k-means <br/> | ||
| + | '''Дедлайн''' (20 баллов): 10.03.17 23:59<br/> | ||
| + | '''Дедлайн''' (10 баллов): 17.03.17 23:59<br/> | ||
| + | |||
| + | Условие — [http://mit.spbau.ru/sewiki/images/2/29/ML17-Homework2.pdf Домашнее задание 2]<br/> | ||
| + | |||
| + | 3. Одеревенеть от страха <br/> | ||
| + | '''Дедлайн''' (20 баллов): 23.03.17 23:59<br/> | ||
| + | '''Дедлайн''' (10 баллов): 30.03.17 23:59<br/> | ||
| + | |||
| + | Условие — [http://mit.spbau.ru/sewiki/images/3/38/ML17-Homework3.pdf Домашнее задание 3]<br/> | ||
| + | |||
| + | 4. Байес на страже SMS <br/> | ||
| + | '''Дедлайн''' (20 баллов): 30.03.17 23:59<br/> | ||
| + | '''Дедлайн''' (10 баллов): 06.04.17 23:59<br/> | ||
| + | |||
| + | Условие — [http://mit.spbau.ru/sewiki/images/f/fe/ML17-Homework4.pdf Домашнее задание 4]<br/> | ||
| + | |||
| + | 5. Индейцы пима и линейный классификатор <br/> | ||
| + | '''Дедлайн''' (20 баллов): 13.04.17 23:59<br/> | ||
| + | '''Дедлайн''' (10 баллов): 20.04.17 23:59<br/> | ||
| + | |||
| + | Условие — [http://mit.spbau.ru/sewiki/images/3/33/ML17-Homework5.pdf Домашнее задание 5]<br/> | ||
| + | |||
| + | 6. Каракули и нейросети <br/> | ||
| + | '''Дедлайн''' (20 баллов): 20.04.17 23:59<br/> | ||
| + | '''Дедлайн''' (10 баллов): 27.04.17 23:59<br/> | ||
| + | |||
| + | Условие — [http://mit.spbau.ru/sewiki/images/a/ad/ML17-Homework6.pdf Домашнее задание 6]<br/> | ||
| + | |||
| + | 7. Ядра SVM <br/> | ||
| + | '''Дедлайн''' (20 баллов): 27.04.17 23:59<br/> | ||
| + | '''Дедлайн''' (10 баллов): 04.05.17 23:59<br/> | ||
| + | |||
| + | Условие — [http://mit.spbau.ru/sewiki/images/c/cc/ML17-Homework7.pdf Домашнее задание 7]<br/> | ||
| + | |||
| + | 8. Недвижимость и регрессия <br/> | ||
| + | '''Дедлайн''' (20 баллов): 11.05.17 23:59<br/> | ||
| + | '''Дедлайн''' (10 баллов): 18.05.17 23:59<br/> | ||
| + | |||
| + | Условие — [http://mit.spbau.ru/sewiki/images/c/c0/ML17-Homework8.pdf Домашнее задание 8]<br/> | ||
| + | <br/> | ||
| + | <!-- | ||
| + | [https://github.com/ktisha/ML2017/tree/master/additional/gold Примеры решений] | ||
| + | |||
== Летучки в начале лекции. == | == Летучки в начале лекции. == | ||
| − | [http://mit.spbau.ru/sewiki/images/b/b5/ML17-Test1.pdf | + | [http://mit.spbau.ru/sewiki/images/b/b5/ML17-Test1.pdf 22 февраля]<br/> |
| + | [http://mit.spbau.ru/sewiki/images/a/a4/ML17-Test2.pdf 1 марта]<br/> | ||
| + | [http://mit.spbau.ru/sewiki/images/8/84/ML17-Test3.pdf 15 марта]<br/> | ||
| + | [http://mit.spbau.ru/sewiki/images/2/29/ML17-Test4.pdf 22 марта]<br/> | ||
| + | [http://mit.spbau.ru/sewiki/images/9/9a/ML17-Test5.pdf 29 марта]<br/> | ||
| + | [http://mit.spbau.ru/sewiki/images/2/26/ML17-Test6.pdf 5 апреля]<br/> | ||
| + | [http://mit.spbau.ru/sewiki/images/3/3e/ML17-Test7.pdf 12 апреля]<br/> | ||
| + | [http://mit.spbau.ru/sewiki/images/f/fc/ML17-Test8.pdf 19 апреля]<br/> | ||
| + | [http://mit.spbau.ru/sewiki/images/9/9f/ML17-Test9.pdf 26 апреля]<br/> | ||
| + | [http://mit.spbau.ru/sewiki/images/c/c2/ML17-Test10.pdf 3 мая]<br/> | ||
| + | [http://mit.spbau.ru/sewiki/images/3/32/ML17-Test11.pdf 10 мая]<br/> | ||
| + | [http://mit.spbau.ru/sewiki/images/5/5a/ML17-Test12.pdf 17 мая]<br/> | ||
== Результаты == | == Результаты == | ||
[https://docs.google.com/spreadsheets/d/1VaKxuDH1Otwuwcjc2JtFTfrwrmJ5man8e7ccCJA4jKU/edit?usp=sharing Результаты] | [https://docs.google.com/spreadsheets/d/1VaKxuDH1Otwuwcjc2JtFTfrwrmJ5man8e7ccCJA4jKU/edit?usp=sharing Результаты] | ||
<br/> | <br/> | ||
| + | |||
| + | --> | ||
12 опросов по 5 баллов в начале лекции. <br/> | 12 опросов по 5 баллов в начале лекции. <br/> | ||
| Строка 41: | Строка 132: | ||
== Дополнительные источники по машинному обучению == | == Дополнительные источники по машинному обучению == | ||
| − | * Christopher M. Bishop [http:// | + | * Christopher M. Bishop [http://users.isr.ist.utl.pt/~wurmd/Livros/school/Bishop%20-%20Pattern%20Recognition%20And%20Machine%20Learning%20-%20Springer%20%202006.pdf "Pattern Recognition and Machine Learning"] |
* G. James, D. Witten, T. Hastie, R. Tibshirani: [http://www-bcf.usc.edu/~gareth/ISL/ISLR%20First%20Printing.pdf "An Introduction to Statistical Learning"] | * G. James, D. Witten, T. Hastie, R. Tibshirani: [http://www-bcf.usc.edu/~gareth/ISL/ISLR%20First%20Printing.pdf "An Introduction to Statistical Learning"] | ||
* Kevin P. Murphy [http://www.huang-jianhua.com/download/Machine_Learning-_A_Probabilistic_Perspective.pdf "Machine Learning: A Probabilistic Perspective"] | * Kevin P. Murphy [http://www.huang-jianhua.com/download/Machine_Learning-_A_Probabilistic_Perspective.pdf "Machine Learning: A Probabilistic Perspective"] | ||
| − | * К.В. Воронцов: [http://shad.yandex.ru/lectures/machine_learning.xml | + | * Professor Yaser Abu-Mostafa [http://work.caltech.edu/telecourse.html MOOC] |
| + | * К.В. Воронцов: [http://shad.yandex.ru/lectures/machine_learning.xml MOOC], [http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29 материалы] (в т.ч. [http://www.machinelearning.ru/wiki/images/6/6d/Voron-ML-1.pdf пособие]) | ||
* Andrew Ng http://ml-class.org/ | * Andrew Ng http://ml-class.org/ | ||
| − | * Примеры реализации алгоритмов на Python: [http:// | + | * Примеры реализации алгоритмов на Python: [http://www.ozon.ru/context/detail/id/4877842/ Программируем коллективный разум] |
* Ullman, Leskovec, Rajaraman [http://infolab.stanford.edu/~ullman/mmds/book.pdf "Mining of Massive Datasets"] | * Ullman, Leskovec, Rajaraman [http://infolab.stanford.edu/~ullman/mmds/book.pdf "Mining of Massive Datasets"] | ||
| Строка 54: | Строка 146: | ||
* [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions "Scientific Python"] | * [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions "Scientific Python"] | ||
* [http://it-ebooks.info/book/2865/ "Learning IPython for Interactive Computing and Data Visualization"] | * [http://it-ebooks.info/book/2865/ "Learning IPython for Interactive Computing and Data Visualization"] | ||
| − | |||
* [http://nbviewer.ipython.org/github/jrjohansson/scientific-python-lectures/blob/master/Lecture-4-Matplotlib.ipynb "Визуализация в Python"] | * [http://nbviewer.ipython.org/github/jrjohansson/scientific-python-lectures/blob/master/Lecture-4-Matplotlib.ipynb "Визуализация в Python"] | ||
* [http://mit.spbau.ru/sewiki/images/c/cf/Scikit-cheat-sheet.png "Scikit-learn algorithm cheat-sheet"] | * [http://mit.spbau.ru/sewiki/images/c/cf/Scikit-cheat-sheet.png "Scikit-learn algorithm cheat-sheet"] | ||
Текущая версия на 13:33, 10 февраля 2018
Лекции — Екатерина Тузова (kt@jetbrains.com)
Содержание
Лекции
1. 15 февраля, "Введение"
2. 22 февраля, "Метрические классификаторы"
3. 1 марта, "Кластеризация"
4. 15 марта, "Деревья принятия решений"
5. 22 марта, "Байесовские методы классификации"
6. 29 марта, "Перцептрон"
7. 5 апреля, "Способность к обобщению"
8. 12 апреля, "Нейронные сети"
9. 19 апреля, "Метод опорных векторов"
10. 26 апреля, "Линейная регрессия"
11. 3 мая, "Анализ смещения и разброса"
12. 10 мая, "Методы восстановления регрессии"
13. 17 мая, "Ансамбли"
Вопросы к экзамену.
12 опросов по 5 баллов в начале лекции.
8 домашних заданий по 20 баллов при сдаче в первую неделю, 10 баллов при сдаче во вторую неделю.
Экзамен 180 баллов
Оценки за курс: 300 баллов -- отлично, 250 баллов -- хорошо, 200 баллов -- удовлетворительно
Дополнительные источники по машинному обучению
- Christopher M. Bishop "Pattern Recognition and Machine Learning"
- G. James, D. Witten, T. Hastie, R. Tibshirani: "An Introduction to Statistical Learning"
- Kevin P. Murphy "Machine Learning: A Probabilistic Perspective"
- Professor Yaser Abu-Mostafa MOOC
- К.В. Воронцов: MOOC, материалы (в т.ч. пособие)
- Andrew Ng http://ml-class.org/
- Примеры реализации алгоритмов на Python: Программируем коллективный разум
- Ullman, Leskovec, Rajaraman "Mining of Massive Datasets"
