Зовнішній пристрій Nextorage aiDAPTIV Station. Джерело: Nextorage
Запуск великих мовних моделей (LLM) сьогодні нагадує спробу запхати слона у холодильник. Якщо у вас немає серверної стійки або хоча б пари топових відеокарт з величезним обсягом відеопам’яті, про локальний запуск серйозних нейромереж можна забути. Проте японська компанія Nextorage, яка є дочірнім підприємством контролерного гіганта Phison, вирішила підійти до проблеми з іншого боку — через зовнішній порт вашого ноутбука.
Розробники представили прототип пристрою під назвою aiDAPTIV Station. Це зовнішня апаратна станція, яка обіцяє дати можливість запускати моделі рівня OpenAI GPT-OSS-120B на звичайних комп’ютерах, де встановлено лише 32 ГБ оперативної пам’яті. Для контексту: такі моделі зазвичай вимагають значно більше ресурсів, ніж може запропонувати середньостатистичний лептоп, навіть якщо він гордо несе наклейку «AI PC».
Магія підкачки або як працює aiDAPTIV
В основі роботи станції лежить технологія Phison aiDAPTIV+. Замість того, щоб намагатися вмістити всю модель у дорогу оперативну пам’ять (DRAM), система динамічно розподіляє дані між наявною пам’яттю комп’ютера та зовнішнім сховищем NAND. Фактично, пристрій використовує швидкісні SSD як розширення оперативки, розбиваючи великі моделі на шари та завантажуючи їх за потреби.
Звісно, такий підхід не зробить обробку запитів миттєвою — швидкість передачі даних через інтерфейс USB-C все одно залишається «вузьким місцем» порівняно з шиною PCIe безпосередньо на материнській платі. Проте для розробників та ентузіастів, яким важлива сама можливість локального запуску без хмарних підписок, це цілком прийнятний компроміс. Станція має компактний дизайн та підтримує роботу з операційними системами Windows та Ubuntu Linux, що робить її універсальним інструментом для тестування нейромереж «на ходу».
Ринкові перспективи та програмне забезпечення
Nextorage не просто пропонує залізо, а й планує випустити готове програмне рішення, яке автоматизує процес налаштування моделей під їхню станцію. Це критично важливо, оскільки самостійне квантування та сегментація моделей — задоволення для терплячих. Очікується, що Nextorage виведе aiDAPTIV Station на японський ринок вже до кінця цього року. Про ціну поки мовчать, але вона точно буде нижчою за професійні GPU з 48 ГБ+ відеопам’яті.
Поки великі корпорації намагаються продати нам хмарні рішення за підпискою, такі проєкти повертають обчислювальні потужності в руки користувачів. Навіть якщо це означає, що ваш ноутбук буде обростати додатковими коробочками для виконання складних завдань. Хоча на фоні загального скепсису щодо ефективності ШІ-інвестицій, такі доступні рішення можуть стати реальним виходом для малого бізнесу.
Цікаво, що на тлі розробок нових методів запуску нейромереж, звіт MIT NANDA показує, що 95% компаній не отримали віддачі від вкладень у штучний інтелект, що лише підкреслює потребу в дешевших інструментах.