-max-100.jpg.webp)
Исследовательская команда Apple разработала сверхсовременный метод тренировки больших языковых моделей (LLM), упрощающий интеграцию текста и изображений.
В их научной публикации, названной «MM1: Методология, аналитика и открытие в тренировке мультимодальных LLM», исследователи изложили основы нового подхода к созданию систем искусственного интеллекта, более адаптивных и гибких. Используя диверсифицированный набор данных из изображений и соответствующих текстовых описаний, чередующих блоков текста и изображений, а также чисто текстовых данных, исследователи Apple утверждают, что их модель MM1 устанавливает новую планку для выполнения задач, требующих генерации описаний к изображениям, ответов на вопросы на основе визуальной информации и формирование выводов с использованием природного языка с высокой точностью.
Исследования сосредоточены на сочетании вариативных данных и сложных архитектур моделей, что позволяет искусственному интеллекту усваивать и генерировать язык, опираясь на комбинацию визуальных и речевых указаний. Такая способность критически важна для задач, требующих глубокого понимания мира, например анализа сложных изображений или реагирования на вопросы, содержащие визуальные компоненты.
В публикации также акцентируется внимание на широких возможностях модели MM1 к контекстуальному обучению, особенно наибольшей конфигурации модели с 30 миллиардами параметров. Эта модель продемонстрировала чрезвычайные способности к многоуровневым соображениям на основе нескольких изображений, используя методику «цепи мыслей», позволяющую искусственному интеллекту решать сложные задачи с минимальными входными данными.
Это исследование Apple вписывается в более широкий контекст их усилий по развитию искусственного интеллекта на фоне увеличения конкуренции в этой области. Ранее Марк Гурман из Bloomberg сообщил о том, что Apple ведет переговоры с Google об использовании модели Gemini в новых возможностях, которые будут представлены в iPhone в рамках обновления до iOS 18.
