Apple прискорила LLM у 2–5 разів

Apple опублікувала дослідження, у якому показала, як великі мовні моделі (LLM) можуть генерувати відповіді значно швидше — без втрати якості. Компанія запропонувала підхід Multi-Token Prediction (MTP), що дозволяє моделі передбачати одразу кілька токенів, а не рухатися суворо «по одному». У тестах на відкритій моделі Tulu3-8B приріст швидкості склав у середньому 2–3× для Q&A та чат-сценаріїв і до 5× у більш передбачуваних доменах на кшталт коду та математики. Для екосистеми Apple це виглядає як реальний кандидат у «двигуни» майбутніх он-девайс функцій Apple Intelligence. Чи справдяться ці очікування та що вони дадуть користувачам, читайте в статті Ябко.

У чому мінус «класичних» LLM і що саме змінила Apple

Звичні мовні моделі працюють авторегресивно: вибирають наступний токен, спираючись на все вже згенероване. Це гарантує цілісність тексту, але змушує модель робити десятки й сотні кроків поспіль — повільно, із залежністю кожного кроку від попереднього. Дослідники Apple показали, що всередині таких моделей уже є корисні сигнали про кілька майбутніх токенів: навіть якщо навчання відбувалось «по одному», представлення мережі містять інформацію про короткі «фрази наперед».

На практиці це реалізовано через «маски»: у запит вставляються спеціальні -позиції, а модель намагається «заповнити» одразу кілька слів одним пострілом — наприклад, перетворити «Кіт є » на «дуже пухнастим». Кожне таке «спекулятивне» заповнення миттєво звіряється зі стандартною авторегресією; якщо збіг є — прискорення зараховується, якщо ні — модель повертається до безпечного режиму покрокової генерації. Тож приріст швидкості не оплачується помітною деградацією змісту.

Швидше в повсякденних діалогах, ще швидше — у коді та математиці

Головні цифри з роботи: 2–3× прискорення в загальних чат-задачах і до 5× — у структурованих доменах, де наступні токени прогнозованіші (формули, синтаксис, шаблонні конструкції коду). Ключовий момент — «без втрати якості» завдяки простій адаптації, яку автори називають gated LoRA adaptation: легковагові донавчання перевіряють доречність багатотокенної спекуляції й «відмикають» її лише там, де це безпечно.

Технічно команда навчила модель робити до восьми додаткових передбачень наперед. Це не жорстке правило: глибина «закиду» може бути динамічною, а перевірка на кожному кроці знімає ризики накопичення помилок.

Чому це важливо саме для Apple і користувачів iPhone/iPad/Mac

Он-девайс AI у телефонах і ноутбуках впирається не лише у швидкість чипа, а й у латентність моделі: скільки обчислювальних кроків треба, щоб отримати відповідь. Менше кроків — менше енерговитрат, нижча температура, стабільніший FPS в UI. Для Apple, яка розвиває Apple Intelligence з акцентом на приватність і локальне виконання, MTP — природній спосіб «вичавити» більше з наявних NPU/CPU/GPU без очікування нових поколінь заліза.

Практичні наслідки очевидні: швидші підказки під час набору тексту, майже миттєві перетворення/підсумки в нотатках і пошті, живіший асистент, менше «зависань» під час довших відповідей. У кодингу — плавніші пояснення та автодоповнення; у математиці — спритніші покрокові розв’язання з тією ж точністю.

«Магія» без компромісів

MTP — не просте «розкручування температури». Це керована спекуляція з вбудованою страховкою авторегресії. Проте є межі: чим більш творчий, довгий і неоднозначний запит, тим частіше захисна перевірка відкотить модель до крок-за-кроком. Так само прискорення залежить від якості донавчання та правильного «маскування» — не всюди вийде стабільно «стріляти» на 8 токенів наперед.

Синергія зі «спекулятивним декодуванням» і інші оптимізації

Підхід Apple добре накладається на сучасні техніки прискорення інференсу: спекулятивне декодування з легкими «попередниками», KV-кешинг, стиснення активацій, прунинг та квантизація. Комбінування цих методів часто дає мультиплікативний ефект: скорочення кроків + менша вартість кожного кроку = значно краща латентність без помітної втрати якості.