Исследователи IBM и ETH Zürich представили аналоговые базовые модели (AFM), совершив прорыв на пути к созданию сверхэффективного ИИ. Эти модели решают главную проблему аналоговых вычислений — стохастический шум, который до сих пор мешал запуску больших языковых моделей на энергоэффективных чипах. Эта инновация открывает дорогу к мощному искусственному интеллекту на компактных устройствах, от смартфонов до беспилотных автомобилей.

• Перспективы и риски аналоговых вычислений в памяти
• Аналоговые базовые модели: аппаратное решение проблемы шума
• Универсальность и масштабируемость: за пределами аналоговых систем
• Дорога вперед: вызовы и будущие перспективы
• Мнение эксперта

Перспективы и риски аналоговых вычислений в памяти

Привлекательность аналоговых вычислений в памяти (AIMC) заключается в их способности элегантно решить фундаментальную проблему современных компьютеров. Традиционные ИИ-ускорители, от GPU до TPU, упираются в так называемое «бутылочное горлышко фон Неймана» — архитектурное ограничение, при котором производительность лимитирована скоростью обмена данными между процессором и памятью [1]. AIMC обходит это ограничение, выполняя ключевую для ИИ операцию умножения матрицы на вектор прямо в массиве памяти. Это сулит многократное повышение энергоэффективности и открывает перспективу запуска моделей с триллионами параметров на компактных ускорителях, что позволит интегрировать мощный ИИ в периферийные устройства — от беспилотных автомобилей до роботов.

Однако этому всегда мешала серьезная проблема: шум. В отличие от предсказуемого мира цифровых вычислений, аналоговые схемы подвержены случайным ошибкам, вызванным физическими несовершенствами и флуктуациями. Этот непредсказуемый шум стал ахиллесовой пятой AIMC, особенно для чувствительных LLM, чьи сложные вычисления легко нарушаются даже малейшими отклонениями. Если небольшие нейросети ранее удавалось адаптировать, то для моделей с миллиардами параметров этот барьер казался непреодолимым, оставляя потенциал AIMC нереализованным.

Аналоговые базовые модели: аппаратное решение проблемы шума

Для решения проблемы стохастического шума команды IBM и ETH Zürich разработали новую методологию — обучение с учетом аппаратных особенностей, результатом которой и стали аналоговые базовые модели (AFM). Эти ИИ-модели специально натренированы быть устойчивыми к случайным ошибкам, присущим аналоговым чипам. Вместо того чтобы пытаться устранить шум на уровне оборудования, AFM учатся эффективно работать в его присутствии.

В основе этого подхода лежит сложный процесс обучения, реализованный с помощью фреймворка AIHWKIT-Lightning. Он включает в себя несколько техник:

• Внедрение шума (noise injection): Во время обучения модель подвергается симулированным ошибкам, имитирующим поведение реального AIMC-оборудования, что заставляет ее вырабатывать устойчивость.
• Итеративное отсечение весов (iterative weight clipping): Параметры модели удерживаются в физических границах устройств памяти, предотвращая нестабильность.
• Обучаемое статическое квантование: Числовая точность модели адаптируется под ограничения аналого-цифровых преобразователей.
• Дистилляция из предварительно обученных LLM: Знания из мощной цифровой модели используются для обучения более компактной, аналогово-ориентированной модели на синтетических данных.

Результаты впечатляют. Команда успешно адаптировала такие модели, как Phi-3-mini-4k-instruct и Llama-3.2-1B-Instruct, которые показали производительность на уровне своих 4-битных цифровых аналогов даже при значительном уровне шума. Как отмечается в научной публикации на arXiv [2], на бенчмарках, проверяющих логику, AFM превзошли стандартные подходы к квантованию, подтвердив эффективность новой методологии.

Универсальность и масштабируемость: за пределами аналоговых систем

Хотя AFM создавались для аналогового оборудования, исследование выявило неожиданное преимущество: они также демонстрируют превосходную производительность на цифровых платформах с низкой точностью вычислений. Обучение, которое делает их устойчивыми к случайному аналоговому шуму, с еще большей легкостью помогает им справляться с детерминированными ошибками округления при цифровом квантовании. Это делает AFM решением двойного назначения, пригодным как для ускорителей нового поколения, так и для существующих систем, где используется периферийный ИИ на аналоговых чипах [3].

Более того, AFM демонстрируют лучшее масштабирование вычислений во время инференса. На сложном математическом бенчмарке MATH-500 было показано, что при генерации нескольких вариантов ответа на одну задачу и выборе лучшего из них точность AFM растет значительно быстрее, чем у стандартных моделей. Эта способность динамически повышать точность за счет увеличения вычислительной нагрузки идеально соответствует архитектуре AIMC, оптимизированной для массового параллелизма.

Дорога вперед: вызовы и будущие перспективы

Разработка AFM — это знаковое достижение, превращающее AIMC из теории в практически жизнеспособную технологию. Однако путь к массовому внедрению сопряжен с серьезными вызовами, и важно трезво оценивать преимущества и риски AIMC. Процесс обучения AFM остается ресурсоемким, а в сложных задачах на рассуждение все еще наблюдается отставание в точности. Это говорит о том, что проблема шума смягчена, но не решена полностью.

Существуют и более широкие экономические риски. Высокая стоимость разработки нового оборудования может привести к консолидации рынка и зависимости от поставщиков. Как подчеркивают в официальном блоге IBM Research [4], тесная связь программного обеспечения с конкретными архитектурами может создать фрагментированные экосистемы, замедляя широкое внедрение. Наконец, недетерминированная природа аналоговых вычислений может быть неприемлема для критически важных приложений, таких как автопилоты или медицинская диагностика, где требуется абсолютная предсказуемость.

Мнение эксперта

Специалисты NeuroTechnus считают этот прорыв поворотным моментом для практического внедрения ИИ. Годами высокие вычислительные затраты ограничивали использование больших моделей облачными средами. Это исследование напрямую решает проблему энергоэффективности, открывая путь к мощным моделям на компактных периферийных устройствах. Ключевой вывод заключается в важности совместной разработки аппаратного и программного обеспечения. Создавая модели, изначально устойчивые к неточностям, мы раскрываем потенциал нового класса ускорителей. Будущее ИИ — не только в увеличении моделей, но и в более умном и эффективном их развертывании.

Создание аналоговых базовых моделей — это не просто техническое достижение, а фундаментальный сдвиг в подходе к разработке ИИ-оборудования. Преодолев барьер стохастического шума, исследователи открыли реальный путь к внедрению энергоэффективных вычислений в памяти, что позволит запускать сложные LLM на периферийных устройствах. Хотя впереди еще остаются вызовы, связанные со стоимостью обучения и достижением максимальной точности, эта работа доказывает, что будущее ИИ лежит в синергии аппаратных и программных инноваций.

Часто задаваемые вопросы

Что такое аналоговые базовые модели (AFM) и какую проблему они решают?

Аналоговые базовые модели (AFM) — это инновационные ИИ-модели, разработанные IBM и ETH Zürich для решения ключевой проблемы аналоговых вычислений — стохастического шума. Они специально обучены быть устойчивыми к случайным ошибкам, присущим аналоговым схемам, что позволяет запускать мощные языковые модели на энергоэффективных и компактных устройствах.

Почему аналоговые вычисления в памяти (AIMC) считаются перспективной технологией для ИИ?

Технология AIMC обещает кардинально повысить энергоэффективность ИИ-систем, решая проблему «бутылочного горлышка фон Неймана». Выполняя вычисления непосредственно в памяти, она устраняет необходимость в постоянной передаче данных, что открывает перспективу запуска моделей с триллионами параметров на компактных периферийных устройствах.

Как именно аналоговые базовые модели (AFM) становятся устойчивыми к шуму?

Устойчивость AFM достигается с помощью методологии «обучения с учетом аппаратных особенностей». В процессе тренировки в модель целенаправленно внедряется симулированный шум, имитирующий поведение реального оборудования, что заставляет ее адаптироваться и эффективно работать в условиях случайных ошибок.

Применимы ли аналоговые базовые модели только для аналогового оборудования?

Хотя AFM создавались для аналоговых систем, исследование выявило их неожиданное преимущество: они также демонстрируют превосходную производительность на цифровых платформах с низкой точностью вычислений. Обучение, делающее их устойчивыми к случайному аналоговому шуму, помогает им еще легче справляться с детерминированными ошибками округления в цифровых системах.

Каковы основные риски и недостатки технологии аналоговых вычислений?

Несмотря на прорыв, технология сопряжена с рисками: процесс обучения моделей остается ресурсоемким, а в сложных задачах сохраняется отставание в точности. Кроме того, высокая стоимость разработки нового оборудования и недетерминированная природа вычислений могут ограничить ее применение в критически важных системах, таких как автопилоты.