Коли ви використовуєте локальні LLM для реальних робочих процесів, місцеві розробники штучного інтелекту, як правило, опиняються в штопорі, оскільки жоден інструмент насправді не покриває все, що вам потрібно. Зазвичай я перемикаюся між LM Studio для звичайного чату, AnythingLLM для робочих процесів RAG, llama.cpp для розширених функцій та кількома іншими. Таким чином, ви отримуєте купу різних інструментів для різних завдань.
Нелінивець — це єдине ім’я, яке я впізнаю через їх кількість. Записані GGUF під брендом UD Hugging Face живлять мою установку LM Studio стільки часу, скільки я маю її, і я загалом довіряю одному з їхніх динамічних діапазонів більше, ніж будь-якому еквіваленту. Коли в серпні вони запустили свою настільну програму, я зрозумів, що якщо хтось і збирається створити хорошу рідну програму штучного інтелекту, то це група, яка вже створювала мої виконувані моделі.
Хочете бути в курсі останніх новинок штучного інтелекту? Інформаційний бюлетень XDA AI Insider публікується щотижня з глибокими зануреннями, рекомендаціями щодо інструментів і практичними матеріалами, яких ви більше ніде не знайдете на сайті. Підпишіться, змінивши налаштування розсилки!
Якщо ви коли-небудь завантажували GUFF під назвою “UD”, ви вже використовували Unsloth
У компанії Quantum тепер є власний додаток
Unsloth як ім’я вже може зазвучати, навіть якщо ви ніколи нічого не встановлювали з них. Вона почалася як бібліотека Python з відкритим вихідним кодом від двох братів, Даніеля та Майкла Ганів, завдяки чому тонке налаштування LLM стало майже вдвічі швидшим із приблизно на 70% меншим обсягом відеопам’яті та втратою точності. Ця репутація є причиною того, що будь-хто, хто проводить тонке налаштування без бюджету на хмару, зазвичай потрапляє на нього, або якщо у вас лише обмежене обладнання.
У той же час вони також стали одними з найбільших видавців квантів GGUF у Hugging Face. Ці файли Unsloth Dynamic (файли з UD-Q4_K_XL або UD-IQ1_S у назві) належать їм, і більшість із нас, ймовірно, запускає їх протягом хвилини, не замислюючись про те, звідки вони взялися.
Unsloth Desktop був запущений у бета-версії 10 серпня 2026 року для Mac, Windows і Linux і є безкоштовним із відкритим кодом. Це перший раз, коли команда надіслала рідну програму для роботи та вивчення місцевих моделей, але базова технологія — це та сама технологія, яку вони створювали роками. Отже, судячи з їх послужного списку, я мав гарне передчуття, перш ніж його встановити.
Філософія дуже зрозуміла – бути робочим простором для всього локального стеку ШІ. Тож тепер у вас є чат і керування моделлю, а також тонке налаштування, плюс генерація, плюс підключення агентів і віддалений доступ, усе в одному місці.
Завантажте Unsloth Quants із програми Unsloth
Виріжте середню сходинку
Центр зразків — це власний каталог Unsloth, який вони курують і фільтрують за тим, що насправді підходить до мого обладнання. Він також забрав будь-які моделі, які я вже мав на диску з інших моїх бігунів, тому не потрібно було повторно імпортувати чи шукати папки. Здається, дрібниця, але це означає, що перейти на Unsloth швидко й легко.
Unsloth використовує техніку під назвою динамічне квантування, яка квантує різні шари з різними бітрейтами замість того, щоб натискати все однаково. Тому UD-Q4_K_XL часто перевершує стандартний Q4, але має приблизно такий же розмір або трохи менше. Їхні нові квантизатори Dynamic v3.0 (з якими модель Hub вийшла першою) стверджують, що точність більш ніж на 10% вища, ніж інші аналогічні квантайзери, і Unsloth є одним із небагатьох джерел, яким я справді довіряю 4-бітні квантайзери від великих моделей віртуальних машин, таких як DeepSeek або Kimi.
Оскільки це власний додаток Unsloth, ви також отримуєте підтримку Day Zero для нових випусків. Якщо велику модель відкинуто, вона зазвичай запускається тут, перш ніж каталог LM Studio зможе її проіндексувати. Центром LM Studio є перемикач Hugging Face, тому є хороша кількість динаміки, але ви повинні шукати її. Реєстр Ollama затримується і не обробляє їх надійно. А AnythingLLM взагалі не займається управлінням моделями.
Обсяг контролю, який ви отримуєте, неймовірний
Що б ви не хотіли змінити, напевно, для цього є перемикач
Параметри моделі – це те, де LM Studio історично була сильною, а панель конфігурації Unsloth для кожної моделі принаймні така ж глибока. Він має перегляд кешу KV, приблизне декодування, паралелізм тензорів, розмір партії та мікропакетів, розподіл пам’яті GPU та повзунок бюджету VRAM, редактор шаблонів чату та додаткові аргументи CLI, що надаються через сервер llama.
Крім того, є налаштування поведінки в чаті, яких LM Studio та категорія Ollama майже не торкаються. Поведінка в черзі та відстеження під час надсилання відповіді, звичайний текст і форматований композитор, автоматичне ущільнення для довгих чатів, які досягли межі контексту, автоматичне згортання довгого вставлення у вкладення .txt і запам’ятовування налаштувань в одній моделі. Це маленькі ергономічні речі, які ви, ймовірно, не помітите, доки не покористуєтеся ним кілька днів.
Сам користувальницький інтерфейс також легко налаштовується, з регульованою шириною чату, масштабуванням робочого столу, компактним режимом і плаваючим системним монітором, який безпосередньо показує використання CPU/RAM/VRAM/диска. А потім є контроль дозволів. Кожен виклик інструмента, будь то веб-пошук, виконання коду, доступ до файлу чи дія MCP, має рівень дозволів із «Схвалювати», «Завжди схвалювати» або «Заборонити». Це те, що є в Claude Code або Codex, а не те, що пропонують LM Studio або Ollama, і AnythingLLM — це лише свого роду інструменти.
Нарешті, є паралельна розмова. Новий чат можна почати, коли попередній ще генерується, кожен чат отримує власну панель перебігу та кнопку зупинки, тому мені не потрібно сидіти тут і чекати повільних відповідей, перш ніж перейти до наступного сеансу.
Тонка настройка та створення наборів даних
Повне коло ШІ
Тому порівняння з LM Studio, Ollama і AnythingLLM не має сенсу, тому що ніхто з них взагалі не тренується. Unsloth Desktop постачається з повним конвеєром навчання без коду. Навчання тут означає тонке налаштування, коли ви берете наявну модель з відкритим кодом і тренуєте її на своїх власних даних, щоб вона реагувала на те, що вам потрібно для вашого конкретного використання, незалежно від того, чи це ваш домен, ваш бренд або щось інше.
Тонне налаштування — це не те, що я роблю чи потребую щодня, але це точно одна з тих приємних речей. Розклад Train обробляє QLoRA (4-розрядні адаптери, низький рівень VRAM), LoRA (16-розрядний, краща якість), повне налаштування та безперервні попередні налаштування, усі вони використовують ядра Unsloth, які роблять навчання вдвічі швидшим із 70% меншим обсягом VRAM у бібліотеці. Тож ви обираєте базову модель, вводите набір даних (CSV, JSONL, PDF, DOCX, TXT, MD) і вибираєте метод.
Крім того, є рецепт даних, який добре поєднується з навчанням, і я вважаю, що це дійсно крута функція. Це розробник візуальних робочих процесів на основі вузлів для перетворення необроблених документів у набори даних, готові до навчання, на основі NeMo Data Designer від NVIDIA. Для моїх дизайнерських проектів це означає, що я можу буквально вказати його на свої короткі та минулі посилання та дозволити йому створювати дані для мене на їх основі. На жаль, нативне навчання все ще потребує апаратного забезпечення для його підтримки. Моя RTX 3070 із 8 ГБ VRAM може працювати з QLoRA на менших моделях, але я точно не встановлюю 27B прямо тут.
Лінивець просто зробив те, чого інші ніколи не робили
Існуватимуть робочі процеси, у яких я отримую доступ до LM Studio, Ollama та AnythingLLM, але більшість із цих завдань тепер можна виконувати в одному вікні з Unsloth. Одне, що я хотів би додати, це те, що ця програма знаходиться в бета-версії, а це означає, що оновлення надходять дуже швидко, тому те, чого не вистачає сьогодні, наступного разу, ймовірно, буде в примітці до випуску.
