Devdays Осень 2017/depth map — различия между версиями
Материал из SEWiki
Nikulin (обсуждение | вклад) |
Nikulin (обсуждение | вклад) |
||
| (не показано 8 промежуточных версий этого же участника) | |||
| Строка 1: | Строка 1: | ||
| − | + | == Мотивация == | |
| − | + | ||
| − | + | ||
| − | + | ||
| − | + | ||
| − | == | + | |
=== Карта (матрица) глубины === | === Карта (матрица) глубины === | ||
| Строка 16: | Строка 11: | ||
Самое простое и распространенное решение - это использовать стереозрение или радар. | Самое простое и распространенное решение - это использовать стереозрение или радар. | ||
Для стереозрения нужна очень точная калибровка, которая может легко нарушиться со временем. | Для стереозрения нужна очень точная калибровка, которая может легко нарушиться со временем. | ||
| − | Радары очень хороши, но они дорогие | + | Радары очень хороши, но они дорогие. |
| − | + | ||
| + | Дополнительно оба даных подхода не применимы для создание 3D видео из уже отснятых 2D фильмов, | ||
| + | что в последнее время стало очень популярно. | ||
=== Задача === | === Задача === | ||
Написать скрипт, который строит матрицу глубины с одного изображения, без использования бинокулярного зрения или радаров. | Написать скрипт, который строит матрицу глубины с одного изображения, без использования бинокулярного зрения или радаров. | ||
| − | |||
== Функциональность == | == Функциональность == | ||
| Строка 31: | Строка 26: | ||
* выделение каждого кубика в отдельное изображение | * выделение каждого кубика в отдельное изображение | ||
* edge detection | * edge detection | ||
| − | * | + | * Нахождение линий |
* выделение псевдо параллельных прямых | * выделение псевдо параллельных прямых | ||
* нахождение точек схода | * нахождение точек схода | ||
* построение функции градиента глубины | * построение функции градиента глубины | ||
| + | |||
| + | |||
Запланировано и не сделано: | Запланировано и не сделано: | ||
* Нахождение отдельных граней кубика ( не понадобилось ) | * Нахождение отдельных граней кубика ( не понадобилось ) | ||
* Обработка, когда кубик частично закрыт другим кубиком | * Обработка, когда кубик частично закрыт другим кубиком | ||
| + | |||
| + | |||
Не запланировани и сделано: | Не запланировани и сделано: | ||
| − | |||
* нахождение ближайшей точки к зрителю | * нахождение ближайшей точки к зрителю | ||
| + | * обработка любых параллелепипедов, а не только кубов | ||
| + | |||
| + | == Участники == | ||
| + | * Никулин Даниил: построение карты глубины по точкам схода, совмещение нескольких картинок, фильтрация параллельных линий | ||
| + | * Лапко Данила: нахождение точек схода, нахождение всех кубиков на картинке, выделение каждого кубика в отдельное изображение, общая интеграция проекта и рефакторинг | ||
| + | * Гостевский Дмитрий: нахождение ближайшей точки к зрителю, разработка алгоритма совмещения картинок, редактирование видео | ||
| Строка 49: | Строка 53: | ||
* Градиент глубины считается очень долго | * Градиент глубины считается очень долго | ||
* Яркие тени детектируются как объект | * Яркие тени детектируются как объект | ||
| + | * В случае обработки нескольких кубиков подробный режим показывает этапы только для самого большого кубика | ||
* Не работает в случае, когда кубик частично закрыт другим кубиком | * Не работает в случае, когда кубик частично закрыт другим кубиком | ||
| + | * Все предметы должны находиться на одной плоскости, а сама плоскость должна быть горизонтальна | ||
| + | * При чтении изображения цвета RGB меняются на BGR. | ||
| Строка 56: | Строка 63: | ||
[https://github.com/DaniilSNikulin/DepthMap.git Репозиторий] | [https://github.com/DaniilSNikulin/DepthMap.git Репозиторий] | ||
| − | [https://yadi.sk/d/Kv9pmqPk3PRcgA Ссылка на видео] | + | [https://yadi.sk/d/Kv9pmqPk3PRcgA Ссылка на видео и презентацию] |
Текущая версия на 14:27, 7 ноября 2017
Содержание
Мотивация
Карта (матрица) глубины
Матрица глубины (depth map) - это некоторая матрица, каждый элемент которой содержит дальность до объекта. Другими словами, если имеется некотороые изображение, то матрица глубины говорит о том, какого расстояние до каждого нарисованного объекта. С помощью матрицы глубины воссоздается трехмерная модель пространства.
Проблема
Создание 3D модели пространства невозможно без карты глубины. Самое простое и распространенное решение - это использовать стереозрение или радар. Для стереозрения нужна очень точная калибровка, которая может легко нарушиться со временем. Радары очень хороши, но они дорогие.
Дополнительно оба даных подхода не применимы для создание 3D видео из уже отснятых 2D фильмов, что в последнее время стало очень популярно.
Задача
Написать скрипт, который строит матрицу глубины с одного изображения, без использования бинокулярного зрения или радаров.
Функциональность
Запланировано и сделано:
- Нахождение всех кубиков на картинке
- выделение каждого кубика в отдельное изображение
- edge detection
- Нахождение линий
- выделение псевдо параллельных прямых
- нахождение точек схода
- построение функции градиента глубины
Запланировано и не сделано:
- Нахождение отдельных граней кубика ( не понадобилось )
- Обработка, когда кубик частично закрыт другим кубиком
Не запланировани и сделано:
- нахождение ближайшей точки к зрителю
- обработка любых параллелепипедов, а не только кубов
Участники
- Никулин Даниил: построение карты глубины по точкам схода, совмещение нескольких картинок, фильтрация параллельных линий
- Лапко Данила: нахождение точек схода, нахождение всех кубиков на картинке, выделение каждого кубика в отдельное изображение, общая интеграция проекта и рефакторинг
- Гостевский Дмитрий: нахождение ближайшей точки к зрителю, разработка алгоритма совмещения картинок, редактирование видео
Список известных багов:
- Высокая чувствительность к шумам и постороним предметам
- Градиент глубины считается очень долго
- Яркие тени детектируются как объект
- В случае обработки нескольких кубиков подробный режим показывает этапы только для самого большого кубика
- Не работает в случае, когда кубик частично закрыт другим кубиком
- Все предметы должны находиться на одной плоскости, а сама плоскость должна быть горизонтальна
- При чтении изображения цвета RGB меняются на BGR.
