Стало известно, на каких устройствах Apple можно запустить мощные ИИ-модели локально

Apple расширила возможности своих устройств для локального запуска больших языковых моделей, используя преимущества быстрой памяти и двойных нейропроцессоров. iPhone и iPad теперь справляются с нейросетями на 14 миллиардов параметров, а системы Mac поддерживают модели триллионного масштаба.

Мобильные устройства требуют минимум 16 ГБ унифицированной памяти для работы с базовыми моделями. Пропускная способность памяти для локальных вычислений установлена на уровне 76 ГБ/с, но чип A20 Pro уже превосходит этот лимит, достигая 115,2 ГБ/с. Это обеспечивает запас прочности для более сложных задач искусственного интеллекта непосредственно на смартфоне или планшете.

Ноутбуки линейки Mac показывают промежуточные результаты в зависимости от конфигурации. Модели MacBook Air и Mac mini с памятью до 64 ГБ обрабатывают нейросети до 70 миллиардов параметров. Флагманские MacBook Pro с 128 ГБ памяти поднимают планку до 120 миллиардов параметров, конкурируя с профессиональными рабочими станциями на базе дискретной графики.

Вершиной производительности стал Mac Studio на чипе M5 Ultra с пропускной способностью 1,2 ТБ/с. Одна такая станция поддерживает модели до 480 миллиардов параметров, а кластер из четырех устройств справляется с 1,6 триллиона параметров. Однако стоимость такой инфраструктуры достигает $86 тысяч за 8-серверную конфигурацию, а сроки поставки отдельных компонентов растягиваются на несколько месяцев, сообщает издание Wccftech.