Рига: -5°С
Прорыв: Биологически вдохнувшие архитектуры ИИ демонстрируют сходство с мозгом без обучения
Новое исследование, проведенное учеными из Университета Джонса Хопкинса, ставит под сомнение фундаментальную парадигму современного развития искусственного интеллекта, которая до сих пор основывалась на принципе «чем больше данных, тем умнее система». Работа, опубликованная в авторитетном издании *Nature Machine Intelligence*, показала, что ИИ-модели, чьи архитектуры спроектированы по образцу человеческого мозга, могут демонстрировать паттерны внутренней активности, поразительно схожие с активностью нашего мозга, даже до того, как получат какую-либо обучающую информацию. Это открытие ставит под удар доминирующую стратегию, требующую колоссальных затрат энергии и миллиардных инвестиций в сбор и обработку гигантских массивов данных.
«Сейчас область ИИ движется в сторону того, чтобы скармливать моделям огромные массивы данных и строить вычислительные ресурсы размером с небольшие города. Это требует сотен миллиардов долларов», — прокомментировал ведущий автор исследования, доцент когнитивных наук Мик Боннер. В то же время, как он справедливо отмечает, люди способны осваивать мир, используя несравнимо меньший объем информации, что наводит на мысль о фундаментальной роли архитектурных решений, заложенных в процессе эволюции.
Сравнение архитектур: От трансформеров к свёрточным сетям
Для проверки своей гипотезы исследователи сравнили три основные архитектуры нейронных сетей: трансформеры, полносвязные сети и свёрточные нейронные сети (CNN). Ученые создали десятки моделей каждого типа и, не подвергая их обучению, предъявили им изображения объектов, людей и животных. Далее они сопоставили внутреннюю активность этих «необученных» систем с данными активности мозга людей и приматов при просмотре тех же изображений.
Результаты оказались показательными. Увеличение количества искусственных нейронов в трансформерах и полносвязных сетях не приводило к существенным изменениям в корреляции с мозговой активностью. Однако, когда аналогичные корректировки были внесены в свёрточные нейронные сети, паттерны активации внутри них стали значительно ближе к тем, что наблюдаются в человеческом мозге. Это наводит на мысль, что «архитектурные решения, более похожие на мозг, ставят системы ИИ в очень выгодную стартовую позицию».
Угроза «Гонки данных» и новые горизонты эффективности
В последние годы в индустрии наблюдается растущая обеспокоенность по поводу исчерпания качественных, общедоступных данных для обучения моделей, особенно больших языковых моделей (LLM). Некоторые эксперты даже высказывали опасения, что прогресс в развитии ИИ может замедлиться из-за дефицита новой информации, созданной человеком. В этом контексте, открытие, что правильная архитектура может дать системе преимущество «из коробки», становится крайне своевременным.
Конкуренция в сфере ИИ сегодня часто сводится к наращиванию вычислительных мощностей и объемов датасетов, что создает высокий порог входа, требующий сотен миллиардов долларов. В то же время, исследования, сфокусированные на эффективности алгоритмов, показывают, что можно достичь большего с меньшими ресурсами. Например, российские учёные ранее представили алгоритм ReBRAC, который обучал ИИ в четыре раза быстрее и на 40% качественнее аналогов в области обучения с подкреплением, тем самым снижая зависимость от дорогостоящего «железа».
Человекоподобное мышление и потенциал архитектуры
Тот факт, что необученная модель с «правильным» дизайном уже несет в себе следы человеческого восприятия, открывает перспективу для создания более эффективных и, возможно, более «понимающих» систем. Это перекликается с более широкой тенденцией в исследованиях ИИ, когда системы, казалось бы, просто повторяющие интернет-тексты, начинают демонстрировать способности, которые не были им явно запрограммированы — они, по сути, создают внутренние модели мира, подобно человеческому мозгу.
Текущие исследования теперь будут сфокусированы на внедрении более простых, биологически вдохновлённых методов обучения в эти перспективные архитектуры. Цель — создать новое поколение фреймворков глубокого обучения, которые будут быстрее, энергоэффективнее и, главное, менее зависимы от бесконечного поглощения гигантских объемов цифрового контента.
Последствия для будущего ИИ и дата-стратегий
Данное открытие имеет далеко идущие последствия. Оно может сместить фокус в разработке с чисто количественного подхода (больше данных, больше параметров) на качественный и структурный. Вместо того чтобы тратить огромные средства на сбор и очистку еще одного триллиона токенов, разработчики могут сосредоточиться на инженерии нейронных сетей, стремясь к большей биологической правдоподобности.
В контексте глобальной гонки ИИ, где многие страны стремятся наверстать упущенное, более эффективные алгоритмы и архитектуры могут стать ключом к преодолению технологического разрыва, поскольку они требуют меньше вычислительных мощностей, доступных не всем игрокам. В конечном итоге, если архитектура уже «знает» базовые принципы восприятия, процесс последующего обучения становится не столько процессом заполнения пробелов, сколько уточнением уже существующего, интуитивного понимания мира.
Следите за новостями на других платформах: