Computer vision 2013 — различия между версиями
Материал из SEWiki
| (не показано 6 промежуточных версий 2 участников) | |||
| Строка 39: | Строка 39: | ||
= Вопросы, которые писал один из студентов = | = Вопросы, которые писал один из студентов = | ||
| − | + | === Лекция 1 === | |
* Введение. Задачи и проблемы компьютерного зрения. | * Введение. Задачи и проблемы компьютерного зрения. | ||
* Проблемы КЗ: дисторсия, виды шумов. | * Проблемы КЗ: дисторсия, виды шумов. | ||
| Строка 45: | Строка 45: | ||
* Линейный фильтр. | * Линейный фильтр. | ||
| − | + | === Лекция 2 === | |
| − | == Рассказ про Python+OpenСV | + | ''Рассказ про Python+OpenСV (не представляет теор. интереса)'' |
| − | (не представляет теор. интереса) | + | |
| − | + | === Лекция 3 === | |
| − | + | ||
* Шумы: optical blur, motion blur, spatial quantization, additive intesity noise. | * Шумы: optical blur, motion blur, spatial quantization, additive intesity noise. | ||
* Свертка. Свертка дискретная. Box фильтр. Медианный фильтр. | * Свертка. Свертка дискретная. Box фильтр. Медианный фильтр. | ||
* Производные изображения. | * Производные изображения. | ||
* Оператор Лапласа. | * Оператор Лапласа. | ||
| − | + | ** Конечно-разностная схема для оп. Лапласа. | |
| − | + | ** Матрицы инвар. к поворотам. | |
| − | + | ** Повышение резкости. | |
| − | + | ||
* Повышение резкости с помощью вычитания смазанного изображения. | * Повышение резкости с помощью вычитания смазанного изображения. | ||
* Преобразование Фурье. Дискретное преобразование Фурье. | * Преобразование Фурье. Дискретное преобразование Фурье. | ||
| − | + | ** Низкочасточный фильтр. | |
| − | + | ** Свойства преобразования. | |
| − | + | ** Теорема о свертке. | |
| − | + | ** Восстановление изображения. | |
* Винеровский фильтр | * Винеровский фильтр | ||
http://aco.ifmo.ru/el_books/image_processing/ | http://aco.ifmo.ru/el_books/image_processing/ | ||
| − | + | === Лекция 4 === | |
* Шум метода фильтрации. | * Шум метода фильтрации. | ||
| − | * | + | * Гауссовский фильтр. |
| − | * Фильтр Ярославкого ( | + | * Фильтр Ярославкого (Билатеральный) |
* Анизатропный фильтр | * Анизатропный фильтр | ||
* Total variation | * Total variation | ||
* Non-local means | * Non-local means | ||
| − | * Метрики оценки шума | + | * Метрики оценки шума метода. PSNR |
| − | + | * Block Matching and 3d filtering | |
| − | * Block Matching | + | ** Цветная фильтрация и видео |
| − | + | ||
* Вариационный метод восстановления изображения | * Вариационный метод восстановления изображения | ||
http://courses.graphicon.ru/files/courses/vision/2011/lectures/cv2011_04_representation.pdf | http://courses.graphicon.ru/files/courses/vision/2011/lectures/cv2011_04_representation.pdf | ||
| − | + | === Лекция 5 === | |
* Пирамида гауссианов | * Пирамида гауссианов | ||
| − | + | ** Восстановление изображения по пирамиде. | |
| − | + | ** Возможность локальной обработки изображения. | |
| − | + | ** Пирамиды как фильтр нижних частот. | |
* Обзор вейвлет разложений. | * Обзор вейвлет разложений. | ||
| − | + | ** Локальность представления. | |
| − | + | ** Пример детектирования текстуры дерева. | |
* Детектирование "особенностей" изображения | * Детектирование "особенностей" изображения | ||
| − | + | ** Уголки, критерии уголка | |
| − | + | ** Разница гауссианов в пирамиде. | |
* SIFT дескриптор. Построение. Свойства. | * SIFT дескриптор. Построение. Свойства. | ||
| − | * Дескриптор HOG | + | * Дескриптор HOG (Histogram of oriented gradients) |
* Детекторы дескрипторов, kd-деревья для разбиения дискрипторов. | * Детекторы дескрипторов, kd-деревья для разбиения дискрипторов. | ||
http://robocraft.ru/forum/viewtopic.php?t=227 | http://robocraft.ru/forum/viewtopic.php?t=227 | ||
| − | + | === Лекция 6 === | |
* Энтропия, Избыточность, связь с сжатием. | * Энтропия, Избыточность, связь с сжатием. | ||
| − | * Код Хффмана. Арифметическое кодирование, LZW. | + | * Код Хффмана. Арифметическое кодирование, LZW. |
* Сжатие картинок. | * Сжатие картинок. | ||
* MLP кодирование. | * MLP кодирование. | ||
* Восприятие человека. Сжатие с потерями. | * Восприятие человека. Сжатие с потерями. | ||
| − | + | ** Прогрессирующее декодирование. Пирамиды. Частоты. | |
* Метрики ошибок. PSNR. | * Метрики ошибок. PSNR. | ||
* Декореляция изображений. Умножение на ортготональную матрицу. | * Декореляция изображений. Умножение на ортготональную матрицу. | ||
| Строка 115: | Строка 111: | ||
http://habrahabr.ru/post/180803/ | http://habrahabr.ru/post/180803/ | ||
| − | + | === Лекция 7 === | |
* Контуры | * Контуры | ||
| − | + | ** Определение детекции краев. Применение. | |
| − | + | ** Обзор детекторов краев. | |
| − | + | ** Детектор контуров. Кодирование и обработка контуров. | |
| − | + | ** Выделение линий. Hough transform. | |
| − | * | + | * Проективная геометрия. |
| − | + | ** История и польза. | |
| − | + | ** Классы эквивалентности. | |
| − | + | ** Соответствие векторов R^n и R^(n+1). | |
| − | + | ** Точки и направления. | |
| − | + | ** Соответсвие прямых в R^n и точек в R^(n+1). | |
| − | + | ** Смысл векторного произведения проективных векторов. | |
| − | + | ** Проективные преобразования | |
| − | + | *** Гомография | |
| − | + | *** Нахождения гомографии по точкам | |
http://habrahabr.ru/post/126269/ | http://habrahabr.ru/post/126269/ | ||
| − | + | === Лекция 8 === | |
* Нахождение гомографии (детально). | * Нахождение гомографии (детально). | ||
* Нахождение гомографии с шумом. | * Нахождение гомографии с шумом. | ||
| − | + | ** Минимизация расстояний | |
| − | + | ** Ошибка перепроктирования | |
* Итеративный метод оптимизации | * Итеративный метод оптимизации | ||
| − | + | ** Функция стоимости, параметризация. | |
| − | + | ** Градиентный спуск. | |
* Проблема неправильного матчинга точек (outliers) | * Проблема неправильного матчинга точек (outliers) | ||
| − | + | ** Идея метода RanSaC | |
* Проективная модель камеры. | * Проективная модель камеры. | ||
| − | + | ** Система координат камеры. | |
| − | + | ** Проектирование на плоскость камеры. | |
| − | + | *** Матрица проектирования. | |
| − | + | *** Проектирование с учетом измерений в пикселях. | |
| − | + | *** Учет переноса и поворота камеры. | |
| − | + | === Лекция 9 === | |
* Внутренние и внешние параметры камеры, их матрицы. | * Внутренние и внешние параметры камеры, их матрицы. | ||
* Алгоритм RanSaC | * Алгоритм RanSaC | ||
* Модель мира. | * Модель мира. | ||
| − | + | ** Проективная камера и плоскость в мире. | |
| − | + | ** Линия горизонта. | |
| − | + | ** Точка зенита. | |
| − | + | ** Угол между двумя прямыми | |
| − | + | ** Расстояние между предметами | |
* Определение положения камеры | * Определение положения камеры | ||
| − | + | http://courses.cs.washington.edu/courses/cse576/08sp/lectures/Projective.ppt | |
| + | |||
| + | === Лекция 10 === | ||
* Модель двух камер | * Модель двух камер | ||
| − | * Нахождение матрицы | + | * Нахождение матрицы проекции |
| − | + | ** Запись системы с неизвестными с нормой 1. | |
| − | + | ** Обзор SVD разложения. | |
* Триангуляция и определение точки в пространстве. | * Триангуляция и определение точки в пространстве. | ||
* Ошибка регистрации, максимально правдоподобная гомография | * Ошибка регистрации, максимально правдоподобная гомография | ||
| − | * | + | * Разница градиентного метода и метода НЬютона. |
* Метод 2d реконструкции | * Метод 2d реконструкции | ||
| − | + | ** эпиполярная линия и эпиполюс (эпипол) | |
| − | + | ** Матрица вектроного произведения | |
| − | + | ** Essential matrix | |
http://habrahabr.ru/post/130300/ | http://habrahabr.ru/post/130300/ | ||
| − | + | === Лекция 11 === | |
| − | + | * Нахождение взаимного положения камер | |
| − | * Нахождение взаимного | + | ** Свойства эпипола |
| − | + | ** Фундаментальная матрица | |
| − | + | ||
* Возможные положения второй камеры | * Возможные положения второй камеры | ||
* Выражение essential matrix через матрицы двух камер | * Выражение essential matrix через матрицы двух камер | ||
* Связь essential matrix и фундаментальной матрицы | * Связь essential matrix и фундаментальной матрицы | ||
| − | * Положение в пространстве | + | * Положение точки в пространстве по двум проекциям |
* Machine Learning | * Machine Learning | ||
| − | + | ** Определение | |
| − | + | ** C учителем, без учителя | |
http://rudocs.exdat.com/docs/index-375716.html | http://rudocs.exdat.com/docs/index-375716.html | ||
| − | + | http://www.robots.ox.ac.uk/~vgg/hzbook/hzbook1/HZepipolar.pdf | |
| + | |||
| + | ''Лекция похожа на предыдущую и также непонятна. Читать лучше ссылки выше.'' | ||
| − | + | === Лекция 12 === | |
* Ректификация изображений | * Ректификация изображений | ||
* Disparity | * Disparity | ||
| − | + | ** Вычисление локальными методами | |
| − | + | ** Глобальными | |
| − | + | ** Динамическое программирование | |
| − | + | ** Scanline подход | |
http://stackoverflow.com/questions/17607312/difference-between-disparity-map-and-disparity-image-in-stereo-matching | http://stackoverflow.com/questions/17607312/difference-between-disparity-map-and-disparity-image-in-stereo-matching | ||
| − | + | === Лекция 13 === | |
* Постановка задачи обучения с учителем | * Постановка задачи обучения с учителем | ||
| − | + | ** Регрессия, классификация | |
* Персептрон. Определение. Обучение | * Персептрон. Определение. Обучение | ||
* Feasibility of learning (почему обучение возможно) | * Feasibility of learning (почему обучение возможно) | ||
| − | * Неравенство Хёфдинга | + | * Неравенство Хёфдинга (Hoeffding's) |
| − | + | ** Применение в обучении | |
| − | + | ** Классификаторы и дихотомии | |
* Линейные классификаторы. | * Линейные классификаторы. | ||
* Breakpoint. | * Breakpoint. | ||
| Строка 223: | Строка 222: | ||
http://work.caltech.edu/library/053.html | http://work.caltech.edu/library/053.html | ||
| − | + | === Лекция 14 === | |
* Задачи распозования лиц и pedestrian detection. | * Задачи распозования лиц и pedestrian detection. | ||
* Haar-like features. | * Haar-like features. | ||
| − | + | ** Идея детектирование по частям. | |
| − | * | + | * AdaBoost. Weak classifier. |
| − | + | ** Случай с невыпуклыми множествами | |
* Histograms of Oriented Gradients | * Histograms of Oriented Gradients | ||
* SVM. Hard\Soft margin classifier. Нелинейный SVM. | * SVM. Hard\Soft margin classifier. Нелинейный SVM. | ||
Текущая версия на 10:59, 11 января 2014
Лектор -
Практика -
Лекции
Видеозаписи распространяются с ограниением
Видео 1.1 (см. комментарии)
Видео 2.1
Видео 2.2
Видео 3.0
Видео 3.1
Видео 3.2
Видео 4.1
Видео 4.2
Видео 4.3 (Темы практик, public)
Домашние задания
Задача по определению движения:
- Посчитать фон (варианты: среднее по всем кадрам, скользящее среднее, фиксированный кадр)
- Вычислить маску для движения ( |кадр - фон| > T )
- Применить cv::dilate для пост-обработки маски, изучить, что делает данный оператор.
- Найти на каждом кадре движ. объекты при помощи поиска связанных областей (cv::floodFill)
- (*) Сопоставить объекты на соседних кадрах между собой при помощи http://en.wikipedia.org/wiki/Hungarian_algorithm на основе расстояния м\д центрами масс
Тестовые видео брать отсюда: http://iselab.cvc.uab.es/outdoor-cams
Также можно пробовать на http://www.cvc.uab.es/~bagdanov/master/videos.html (Video surveillance sequences)
Видео для тестирования алгоритма стабилизации (также можно пробовать на видео из презентации): https://docs.google.com/file/d/0ByEzmeJ-IkqAYWpkVFkwN1d3eEE/edit?usp=sharing
Вопросы, которые писал один из студентов
Лекция 1
- Введение. Задачи и проблемы компьютерного зрения.
- Проблемы КЗ: дисторсия, виды шумов.
- Соль с перцем, гаусовский шум.
- Линейный фильтр.
Лекция 2
Рассказ про Python+OpenСV (не представляет теор. интереса)
Лекция 3
- Шумы: optical blur, motion blur, spatial quantization, additive intesity noise.
- Свертка. Свертка дискретная. Box фильтр. Медианный фильтр.
- Производные изображения.
- Оператор Лапласа.
- Конечно-разностная схема для оп. Лапласа.
- Матрицы инвар. к поворотам.
- Повышение резкости.
- Повышение резкости с помощью вычитания смазанного изображения.
- Преобразование Фурье. Дискретное преобразование Фурье.
- Низкочасточный фильтр.
- Свойства преобразования.
- Теорема о свертке.
- Восстановление изображения.
- Винеровский фильтр
http://aco.ifmo.ru/el_books/image_processing/
Лекция 4
- Шум метода фильтрации.
- Гауссовский фильтр.
- Фильтр Ярославкого (Билатеральный)
- Анизатропный фильтр
- Total variation
- Non-local means
- Метрики оценки шума метода. PSNR
- Block Matching and 3d filtering
- Цветная фильтрация и видео
- Вариационный метод восстановления изображения
http://courses.graphicon.ru/files/courses/vision/2011/lectures/cv2011_04_representation.pdf
Лекция 5
- Пирамида гауссианов
- Восстановление изображения по пирамиде.
- Возможность локальной обработки изображения.
- Пирамиды как фильтр нижних частот.
- Обзор вейвлет разложений.
- Локальность представления.
- Пример детектирования текстуры дерева.
- Детектирование "особенностей" изображения
- Уголки, критерии уголка
- Разница гауссианов в пирамиде.
- SIFT дескриптор. Построение. Свойства.
- Дескриптор HOG (Histogram of oriented gradients)
- Детекторы дескрипторов, kd-деревья для разбиения дискрипторов.
http://robocraft.ru/forum/viewtopic.php?t=227
Лекция 6
- Энтропия, Избыточность, связь с сжатием.
- Код Хффмана. Арифметическое кодирование, LZW.
- Сжатие картинок.
- MLP кодирование.
- Восприятие человека. Сжатие с потерями.
- Прогрессирующее декодирование. Пирамиды. Частоты.
- Метрики ошибок. PSNR.
- Декореляция изображений. Умножение на ортготональную матрицу.
- Блочное сжатие. Обзор JPEG. Квантизация.
- Обзор сжатия видео.
http://habrahabr.ru/post/180803/
Лекция 7
- Контуры
- Определение детекции краев. Применение.
- Обзор детекторов краев.
- Детектор контуров. Кодирование и обработка контуров.
- Выделение линий. Hough transform.
- Проективная геометрия.
- История и польза.
- Классы эквивалентности.
- Соответствие векторов R^n и R^(n+1).
- Точки и направления.
- Соответсвие прямых в R^n и точек в R^(n+1).
- Смысл векторного произведения проективных векторов.
- Проективные преобразования
- Гомография
- Нахождения гомографии по точкам
http://habrahabr.ru/post/126269/
Лекция 8
- Нахождение гомографии (детально).
- Нахождение гомографии с шумом.
- Минимизация расстояний
- Ошибка перепроктирования
- Итеративный метод оптимизации
- Функция стоимости, параметризация.
- Градиентный спуск.
- Проблема неправильного матчинга точек (outliers)
- Идея метода RanSaC
- Проективная модель камеры.
- Система координат камеры.
- Проектирование на плоскость камеры.
- Матрица проектирования.
- Проектирование с учетом измерений в пикселях.
- Учет переноса и поворота камеры.
Лекция 9
- Внутренние и внешние параметры камеры, их матрицы.
- Алгоритм RanSaC
- Модель мира.
- Проективная камера и плоскость в мире.
- Линия горизонта.
- Точка зенита.
- Угол между двумя прямыми
- Расстояние между предметами
- Определение положения камеры
http://courses.cs.washington.edu/courses/cse576/08sp/lectures/Projective.ppt
Лекция 10
- Модель двух камер
- Нахождение матрицы проекции
- Запись системы с неизвестными с нормой 1.
- Обзор SVD разложения.
- Триангуляция и определение точки в пространстве.
- Ошибка регистрации, максимально правдоподобная гомография
- Разница градиентного метода и метода НЬютона.
- Метод 2d реконструкции
- эпиполярная линия и эпиполюс (эпипол)
- Матрица вектроного произведения
- Essential matrix
http://habrahabr.ru/post/130300/
Лекция 11
- Нахождение взаимного положения камер
- Свойства эпипола
- Фундаментальная матрица
- Возможные положения второй камеры
- Выражение essential matrix через матрицы двух камер
- Связь essential matrix и фундаментальной матрицы
- Положение точки в пространстве по двум проекциям
- Machine Learning
- Определение
- C учителем, без учителя
http://rudocs.exdat.com/docs/index-375716.html
http://www.robots.ox.ac.uk/~vgg/hzbook/hzbook1/HZepipolar.pdf
Лекция похожа на предыдущую и также непонятна. Читать лучше ссылки выше.
Лекция 12
- Ректификация изображений
- Disparity
- Вычисление локальными методами
- Глобальными
- Динамическое программирование
- Scanline подход
Лекция 13
- Постановка задачи обучения с учителем
- Регрессия, классификация
- Персептрон. Определение. Обучение
- Feasibility of learning (почему обучение возможно)
- Неравенство Хёфдинга (Hoeffding's)
- Применение в обучении
- Классификаторы и дихотомии
- Линейные классификаторы.
- Breakpoint.
- VC dimension.
- Input\Output ошибка, bias, genaralization error.
- Выбор размерности решения в зависимости от тестовых данных.
- Пример сведения классификатора "круг" к линейному классификатору.
- Cascade Classification
http://work.caltech.edu/library/053.html
Лекция 14
- Задачи распозования лиц и pedestrian detection.
- Haar-like features.
- Идея детектирование по частям.
- AdaBoost. Weak classifier.
- Случай с невыпуклыми множествами
- Histograms of Oriented Gradients
- SVM. Hard\Soft margin classifier. Нелинейный SVM.
