Эволюция обратного распространения: новые достижения и перспективы в ИИ 2024 года

Обратное распространение здесь, чтобы остаться. Часть 3. ИИ 2024 г.

Обратное распространение (BP) является краеугольным камнем глубокого обучения. Но даже с его важностью, он имеет свои недостатки, особенно в масштабе от миллиардов до триллионов параметров. Исследователи неустанно работают над его улучшением, и в этом третьем выпуске мы рассмотрим недавние достижения и направления исследований в BP.

Заметные достижения

AdaBP от Google Research представляет собой адаптивный алгоритм BP, который adjusts шаги обновления в зависимости от текущей геометрии поверхности потери. Результаты показывают, что AdaBP может конвергировать до 7 раз быстрее, чем традиционный BP.

MIST от MIT и Microsoft Research является новейшей инициативой, которая стремится преодолеть некоторые основные ограничения BP. Он использует методы теории информации и новую структуру графа, чтобы сделать обучение более эффективным и масштабируемым.

Многообещающие направления исследований

Квантовое BP: Квантовые компьютеры могут существенно ускорить обучение BP. Исследователи в IBM и Google изучают новые квантовые алгоритмы для эффективного выполнения BP.

Пороговое обучение: Пороговое обучение является перспективным направлением для масштабирования BP. Вместо использования обычных градиентов, пороговое обучение использует пороговые функции для сокращения вычислительных затрат.

Прогноз на 2024 год

Ожидается, что в 2024 году BP будет продолжать играть доминирующую роль в обучении глубоких нейронных сетей. Однако мы также увидим всплеск исследований в следующих областях:

• Адаптивный BP: Адаптивные алгоритмы BP, такие как AdaBP, станут более популярными, поскольку они могут значительно улучшить производительность.
• Многомодальный BP: BP будет использоваться в сочетании с другими методами оптимизации, как, например, пороговое обучение, для повышения эффективности и масштабируемости.
• Квантово-классические гибридные алгоритмы: Гибридные алгоритмы, которые сочетают квантовые и классические методы, будут применяться для ускорения BP в масштабных задачах.

Вывод

Обратное распространение является мощным инструментом, который привел к значительным достижениям в ИИ. В 2024 году BP будет оставаться ключевым компонентом глубокого обучения, но мы также увидим его эволюцию в более эффективные и масштабируемые формы.