Японские учёные из Высшей школы передовых биологических наук Университета Осаки смогли реконструировать высокоточные изображения активности человеческого мозга благодаря популярной платформе искусственного интеллекта (ИИ) для генерации изображений — Stable Diffusion.
Если отбросить всю научную терминологию, кратко описать столь сложный процесс можно следующим образом: учёные показывали испытуемым конкретное изображение, а затем просили их представить это изображение и «держать у себя в голове» во время выполнения функциональной магнитно-резонансной томографии (фМРТ). Затем учёные, на основе собранных данных, несколько раз обрабатывали полученные фМРТ-сигналы с помощью сложных алгоритмов, и по итогу, использовали их в качестве входных данных Stable Diffusion для генерации финальной картинки.
Нейросеть смогла сгенерировать очень близкие к оригинальным изображения. Это большое достижение, с учётом всевозможных потерь данных в процессе считывания мозговой активности.
Сверху — оригинальные изображения, снизу — полученные из фМРТ-сигналов при помощи нейросети
Исследователи сообщили, что им удалось получить реконструкции изображений с высоким разрешением, но только после длительного обучения и тонкой настройки генеративной модели. Это приводит к определённым ограничениям, поскольку процесс обучения генеративных моделей крайне непрост, а в нейробиологии не так много образцов для работы. До этого исследования ни один другой учёный не пытался использовать нейросетевые модели для визуальной реконструкции мозговой активности.
С развитием генеративного ИИ всё больше и больше исследователей изучают, как нейросетевые модели могут работать с человеческим мозгом. Последние исследования показывают, что искусственный интеллект способен выполнять поистине впечатляющую работу в реконструкции мозговых сигналов. Во многом это обуславливается тем, что нейросетевые модели сами находят алгоритмы, позволяющие прийти к нужному результату. И далеко не всегда эти алгоритмы понятны для человеческого восприятия.
Кто знает, может в ближайшем будущем учёные смогут с помощью нейросетей считывать человеческие сны и декодировать их в видеоролики? В удивительное время мы живём, вне всяких сомнений.