Intel Labs работает над проектом «Enhancing Photorealism Enhancement» (EPE) для создания фотореалистичного окружения. Исследователи добились высоких результатов по сравнению с другими технологиями благодаря использованию датасета с фотографиями реальных городов и алгоритмам обработки, которые убирают артефакты изображения.
Сотрудники Intel Labs построили свой проект на базе датасета Cityscapes, который содержит в себе фотографии немецких городов, снятых на камеру, закреплённую на автомобиле.
Часто, при обработке видеопотока с использованием методов машинного обучения возникают артефакты изображения: мерцания, прыжки, исчезновение деталей объектов и т.д. Разработчики смогли избежать этого. Для этого они использовали дополнительные данные такие, как глубина объектов, расстояние до камеры и информацию об обработке и визуализации освещения.
В результате работы EPE поверхность дорог сглаживается, меняются блики на транспорте, преображаются холмы и растительность. Кроме этого, к итоговому изображению применяется цветовой фильтр для повышения реалистичности.