Раскраска ранних фильмов — хорошо или плохо?

Вот еще один пример использования искусственного интеллекта для раскрашивания и вдохновения новой жизни в фотографии, а точнее, в данном случае — на ранние кадры из фильма. Это дополнительный шаг — добавление звуковых эффектов. Хотя результаты впечатляют, они также противоречивы. Это лечение оживляет для нас прошлое подлинным образом или вводит ложную реальность?

Денис Ширяев — основатель компании Neural Love из Гданьска, которая предлагает различные услуги на основе искусственного интеллекта для фильмов и фотографий, включая раскрашивание, включающее удаление шума, стабилизацию, нанесение повреждений и т. Д., А также плавное движение и повышение разрешения.

Его последний проект, опубликованный на его канале YouTube, применяет эту технику к 21 фрагменту видеоматериалов, снятых братьями Люмьер на рубеже 20-го века. Однако, прежде чем раскрыть результаты, Ширяев объясняет все используемые процессы и пытается смягчить критику, которую он привык ожидать от приема, оказанного его предыдущим усилиям:

Предупреждение, которое он дает в самом начале, заключается в том, что его использование техники ИИ не является исторически точным и не предназначено для объяснения:

Нейронные сети могут только угадывать цвета, когда мы делаем раскрашивание, или новые пиксели, когда мы делаем апскейлинг, и лица, когда работаем с некоторым восстановлением лица.

На обработку отснятого материала и добавление окружающего звука ушло несколько месяцев, и Ширяев намечает следующие шаги.

Восстановление исходной частоты кадров Это новый шаг, который использует алгоритм удаления дублированных кадров, разработанный Neural Love. По словам Ширяева, это сложный процесс, но он имеет решающее значение для плавного движения.

Стабилизация и удаление шума
Повышение качества, увеличение FPS, окрашивание и восстановление лица

Повышая масштаб каждого кадра до 4k, а затем генерируя в четыре раза больше кадров на фильм, Neural Love достигает 60 кадров в секунду. Фильмы раскрашиваются с помощью DeOldify, проекта с открытым исходным кодом, который мы рассмотрели еще в 2018 году, и для восстановления лица Ширяев говорит, что он включает:

«мягкие» улучшения лица с использованием алгоритма GAN, который «слегка» улучшает все лица и делает их более «детализированными», синтезируя детали лица.

На видео Ширяев говорит:

После того, как изображения были идеальными, я потратил почти две недели на добавление звука к каждому фильму, потому что … Я могу, так почему бы и нет.

Звуки не настоящие, и иногда я делал ужасную работу. Но мне очень нравится этот окружающий эффект, когда, например, вы можете видеть и слышать, как собака начинает лаять на экране, и ощущать момент, как если бы вы были там.

Так будут ли умиротворены историки, ранее критиковавшие Ширяева за раскрашивание черно-белых фотографий? Почему-то я в этом сомневаюсь.

Если вы согласитесь с доводом Эмили Марк-Фитцджеральд, доцента Школы истории искусств и культурной политики Дублинского университетского колледжа, о том, что:

«Проблема с колоризацией в том, что она заставляет людей думать о фотографиях как о некоем незамысловатом окне в прошлое, а это не то, что фотографии».

тогда вы, вероятно, сочтете добавление звука еще более отвратительным грехом.

Другой историк, Люк МакКернан, ведущий куратор новостей и движущихся изображений в Британской библиотеке, писал со ссылкой на документальный фильм Питера Джексона о Первой мировой войне 2018 года Они не должны стареть, в котором были увеличены и окрашены кадры с Западного фронта, заявил:

«Колоризация не приближает нас к прошлому; это увеличивает разрыв между «сейчас» и «потом». Это не позволяет мгновенно; это создает разницу».

Однако он иначе относится к работе, проделанной Neural Love, комментируя:

Я скорее восхищаюсь этой работой, которая довольно честно рассказывает о том, как обработаны оригиналы, и является забавной.

Будет ли это распространено на последнюю работу с ее звуковыми эффектами, еще неизвестно.