Хакатон "AI в кино : Моделирование процесса художественного творчества"

Хакатон "AI  в кино : Моделирование процесса художественного творчества"

7-11 ноября 2022 года в Санкт-Петербурге прошла VII Международная конференция «Обработка сигналов изображения и звука в контексте нейротехнологий» SPCN 2022 (Video and Audio Signal Processing in the Context of Neurotechnologies). Организаторами конференции были: Институт физиологии им. И.П. Павлова Российской академии наук, Pavlov Center "Integrative Physiology - to Medicine, High-tech Healthcare and Technologies of Stress Resistance", Санкт-Петербургский государственный институт кино и телевидения,  Санкт-Петербургский государственный электротехнический университет «ЛЭТИ», «Neuroiconica Assistive» Co. Ltd. Работа конференции была открыта 7 ноября Варварой Викторовной Семеновой (Институт физиологии им. И.П. Павлова РАН) и Дарьей Подвигиной (Институт физиологии им. И.П. Павлова РАН). С приветственными словами к участникам конференции обратились проф. Юрий Евгеньевич Шелепин (научный руководитель отдела физиологии сенсорных систем, зав. лабораторией физиологии зрения, Институт физиологии им. И.П. Павлова РАН), проф. Михаил Степанович Куприянов (руководитель научного и образовательного направлений, Санкт-Петербургский государственный электротехнический университет «ЛЭТИ»), Александр Вигенович Бабаян (проректор по учебной и научной работе, Санкт-Петербургский государственный институт кино и телевидения). Конференция предоставила ученым уникальную возможность междисциплинарного общения в наиболее быстро развивающихся областях когнитивных наук, сенсорной физиологии, нейротехнологий, нейронных сетей, искусственного интеллекта.

Возможность междисциплинарного общения была также предоставлена студентам в рамках хакатона по применению нейротехнологий и методов машинного обучения, проведенного 7-10 ноября 2022 г. в рамках SPCN 2022 в онлайн-формате. Организаторами хакатона были: Институт физиологии им. И.П. Павлова Российской академии наук, Санкт-Петербургский государственный электротехнический университет «ЛЭТИ», Санкт-Петербургский государственный институт кино и телевидения, компания «Невафильм» и Высшая школа киноинженеров. Проект был реализован при поддержке АНО «Платформа НТИ» и федерального проекта «Платформа университетского технологического предпринимательства».
Спонсорами хакатона по направлению «Моделирование процесса художественного творчества» были Институт физиологии им. И.П. Павлова РАН, компания «Невафильм», Высшая школа киноинженеров и проф. Себастьян Моритц (президент MPEG Industry Forum (2004-2012), почетный доктор и почетный профессор Санкт-Петербургского государственного института кино и телевидения). Команды-участники приступили к работе в 12:30 утра 7 ноября и завершили выполнение заданий в 18 часов 10 ноября. Жюри объявило победителей 11 ноября на специальном заседании, которое привлекло наибольшее количество участников.

Технологический вызов – «AI в кино

Команды-участники хакатона были должны ответить на технологический вызов – «AI в кино: Разработка алгоритма автоматического аудиовизуального аннотирования кинофильмов». Аудиовизуальная аннотация кинофильма – это компактное аудиовизуальное описание кинофильма. Аннотация представляет собой последовательность главных семантически значимых, или ключевых видеофрагментов кинофильма. Просмотр последовательности ключевых видеофрагментов позволяет быстро получить представление о фабуле, сюжете, героях кинофильма. Аудиовизуальное аннотирование кинофильмов позволяет создать «витрину» для фильмофондов, в которых хранится накопленная за столетие бесценная, но недостаточно широко известная кинематографическая память деятельности человечества. Аудиовизуальное аннотирование также необходимо для генерации семантических метаданных и индексации видеоматериалов пользовательского контента в интернете, объем которого растет лавинообразно. Поставленные задачи могут быть решены только с использованием алгоритмов автоматизированного аудиовизуального аннотирования на базе систем и технологий искусственного интеллекта.
Для ответа на поставленный вызов команды студентов, участвовавшие в хакатоне, должны были представить вниманию жюри разработанные алгоритмы составления аудиовизуальных аннотаций постановочных кинофильмов, а также аннотации заданного кинофильма продолжительностью до трех минут, созданные в полном соответствии с предложенным алгоритмом. Кинофильм, для которого в течение четырех дней хакатона должны были создаваться аудиовизуальные аннотации, был задан жюри хакатона в первый день. Это был фильм «Дылда» режиссера Кантемира Балагова.

Итоги хакатона

12 команд, составленных из студентов творческого, гуманитарного и технического направлений и представляющих разные университеты страны, зарегистрировались для участия в хакатоне. Однако полностью справились с поставленным вызовом и представили в жюри результаты своей работы только 8 команд, что является свидетельством сложности поставленной задачи. В составе этих 8 команд были студенты Санкт-Петербургского государственного института кино и телевидения (СПбГИКИТ), Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» (СПбГЭТУ «ЛЭТИ»), Северо-Западного государственного медицинского университета им. И.И. Мечникова (СЗГМУ), Технологического университета им. дважды Героя Советского Союза, лётчика-космонавта А.А. Леонова» (ТУ), Российского национального исследовательского медицинского университета имени Н.И. Пирогова (РНИМУ), Санкт-Петербургского государственного университета телекоммуникаций им. проф. М.А. Бонч-Бруевича (ГУТ). Команды представили неожиданные и оригинальные алгоритмы селекции семантически значимых фрагментов игровых кинофильма, разработанные в рамках хакатона, а также аудиовизуальные аннотации кинофильма «Дылда», созданные на основе разработанных алгоритмов.
Жюри признало победителем хакатона команду №2 в составе: Артём Власов (РНИМУ), Алина Галанцева (СПбГИКиТ), Татьяна Маркова (СПбГИКиТ), Камилла Спицына (ТУ). Команда заслужила высокую оценку жюри за оригинальную иерархическую схему предложенного алгоритма составления аудиовизуальных аннотаций методом «срезов» пиковых по значимости фрагментов кинофильма, реализуемого с помощью нейронной сети. Студенты смогли алгоритмизировать оценку средств художественной выразительности в кинематографе, детектируя лица и позы персонажей для определения специфических паттернов, классифицируя голоса и эмоции. 
На второе месте жюри поставило команду № 10 «Донбассята»: Дарья Ильина, София Степаненко, Алиса Пелогеевская (все – СПбГИКиТ).
Третье место по мнению жюри заслужила команда № 3 в составе: Евгений Григорьев (СПбГЭТУ "ЛЭТИ"), Михаил Кетов (СПбГИКиТ), Владимир Симонович (СПбГИКиТ).
Лучшим командам хакатона были также присуждены специальные призы от спонсоров хакатона.
Себастьян Моритц объявил, что учрежденного им специального приза за разработку самой перспективной платформы удостоена команда №2: Артём Власов (РНИМУ), Алина Галанцева (СПбГИКиТ), Татьяна Маркова (СПбГИКиТ), Камилла Спицына (ТУ).
Олег Станиславович Березин (генеральный директор компании «Невафильм», директор Высшей школы киноинженеров) объявил о вручении специального приза за универсальность понятного компьютеру алгоритма команде № 9 T.A.T. (Тime. Art. Technology.): Мария Березина, Наталия Тарасенко, Алиса Мамонтова (все – СПбГИКиТ).
Проф. Юрий Евгеньевич Шелепин в своем выступлении объявил, что специальный приз за лучшую алгоритмизацию психофизиологии восприятия, учрежденный Институтом физиологии им. И.П. Павлова Российской академии наук, получила команда № 10 «Донбассята»: Дарья Ильина, София Степаненко, Алиса Пелогеевская (все – СПбГИКиТ). 

Оценка хакатона

Хакатон «AI в кино: Моделирование процесса художественного творчества», проведенный в рамках конференции SPCN 2022 в третий раз, был исключительно успешным. 
Развитие техники и технологий кинематографа и телевидения в ближайшие годы, несомненно, будет проходить с самым широким применением технологий искусственного интеллекта - области наук, связанной с моделированием интеллектуальной деятельности человека. Это обстоятельство определяет высокую степень актуальности задачи, которую должны были решать участники хакатона «AI в кино: Моделирование процесса художественного творчества» и которая находится на пересечении художественного творчества, информационных технологий и технологий искусственного интеллекта. То обстоятельство, что в хакатоне участвовали студенты творческого, гуманитарного и технического профилей разных университетов страны, стало важнейшим фактором, содействующим успеху хакатона.
Этому успеху, несомненно, способствовала и эффективная работа дружной команды комитетов SPCN 2022 и хакатона. Эти органы:
Совет SPCN: Юрий Шелепин, Михаил Куприянов, Александр Бабаян, Олег Березин.
Оргкомитет конференции SPCN: Варвара Семенова, Юрий Шелепин, Ксения Скуратова, Вероника Зуева (все - Институт физиологии им. И.П. Павлова РАН).
Оргкомитет хакатона:
Константин Гласман (СПбГЭТУ "ЛЭТИ"), Виктор Васильев (заведующий кафедрой режиссуры неигрового кино СПбГИКиТ), Мария Поприцак (преподаватель кафедры режиссуры неигрового кино), Александра Прошкина (Проектный офис СПбГЭТУ "ЛЭТИ").
Жюри хакатона:
Виктор Васильев, Мария Поприцак, Олег Березин, Юрий Шелепин, Себастьян Моритц, Владимир Кремлев, Кристина Пархоменко, Ольга Афанасьева, Константин Гласман. 
Важный фактор преемственности деятельности хакатона – в составе жюри работали участники и победители хакатона в предшествующие годы, студенты СПбГИКиТ: Владимир Кремлев, Кристина Пархоменко, Ольга Афанасьева.

Заключение: взгляд в будущее

Применение технологий искусственного интеллекта для моделирования художественного творчества является инновацией сегодняшнего дня. Но непременным условием эффективной инновационной политики является кадровое обеспечение инновационной системы, что требует введения нового направления подготовки специалистов на стыке информационных технологий и художественного творчества. Эффективным способом реализации такого направления стала бы конвергенция творческого и технологического профилей и подготовка специалистов в интегрированной среде научных исследований и художественного творчества.
Проведенный в рамках конференции SPCN 2022 хакатон «AI в кино: Моделирование процесса художественного творчества» должен стать важным практическим шагом на пути к открытию нового направления подготовки специалистов на стыке информационных технологий и художественного творчества.

Константин Гласман
Председатель оргкомитета хакатона SPCN 2022
Зам. директора департамента образования СПбГЭТУ "ЛЭТИ"