Как запустить DeepSeek локально: полное руководство по установке и настройке

Зачем запускать DeepSeek локально

Локальный запуск нейросети DeepSeek даёт несколько важных преимуществ. Прежде всего, это полная приватность: все ваши данные остаются на устройстве и не передаются на сторонние серверы. Это особенно актуально для работы с конфиденциальной информацией, будь то медицинские данные, корпоративные секреты или личная переписка.

Кроме того, локальная модель не зависит от интернет-соединения. Вы можете пользоваться нейросетью в любых условиях — в поездках, на даче или при временных проблемах с сетью. Отсутствие блокировок со стороны провайдеров также является важным фактором для пользователей из некоторых регионов.

Наконец, локальный запуск позволяет избежать перебоев, связанных с нагрузкой на серверы DeepSeek. Вы получаете стабильную работу в любое время, без очередей и ограничений по количеству запросов.

Что такое дистилляция и квантование моделей

Полная версия DeepSeek-R1 содержит 671 миллиард параметров и требует серверных мощностей. Для локального использования применяются два ключевых метода уменьшения размера модели: дистилляция и квантование.

Дистилляция — это процесс обучения компактной модели на ответах большой модели. Разработчики DeepSeek создали несколько дистиллированных версий: на 1,5, 7, 8, 14, 32 и 70 миллиардов параметров. Эти модели сохраняют большую часть способностей оригинала, но требуют значительно меньше ресурсов.

Квантование — это метод сжатия, при котором точность представления весов модели снижается (например, с 16-битного до 4-битного формата). Это позволяет уменьшить размер файла и требования к оперативной памяти. Основные варианты квантовок:

• Q2 — сильное сжатие, минимальные требования, наибольшая потеря качества.
• Q4_K_M — оптимальный баланс между качеством и скоростью, рекомендуется большинству пользователей.
• Q6_K — более высокое качество, но большее потребление памяти.
• Q8_0 — максимальное качество среди квантованных версий, самые высокие требования к оборудованию.

Размер дистиллированной модели DeepSeek-R1 на 7 миллиардов параметров в квантовке Q4_K_M составляет около 4,7 ГБ, а версия на 8 миллиардов параметров — примерно 5–6 ГБ.

Системные требования для разных версий DeepSeek

Выбор подходящей модели зависит от характеристик вашего компьютера. Вот ориентировочные требования для разных версий DeepSeek:

• DeepSeek 8B (8 миллиардов параметров): от 8 ГБ оперативной памяти, около 5–6 ГБ свободного места на диске. Это оптимальный вариант для большинства домашних компьютеров.
• DeepSeek 14B: желательно 16 ГБ ОЗУ, около 10–12 ГБ на диске.
• DeepSeek 32B: от 32 ГБ ОЗУ, более 20 ГБ свободного места.

Важно понимать, что мощная видеокарта не обязательна — модель может работать и на процессоре. Однако наличие видеокарты с 8–12 ГБ видеопамяти (VRAM) заметно ускоряет генерацию ответов. Если у вас есть дискретная графика, стоит выбирать модель, которая помещается в VRAM, так как это даёт наибольший прирост производительности.

На практике, на MacBook Air с чипом M1 и 8 ГБ объединённой памяти модель на 7 миллиардов параметров работает крайне медленно — около 0,3 токена в секунду, что делает её практически непригодной для реального использования. Для комфортной работы рекомендуется как минимум 16 ГБ ОЗУ и современный процессор.

Установка DeepSeek через LM Studio

LM Studio — это программа с графическим интерфейсом, которая упрощает загрузку и запуск локальных нейросетей. Она доступна для Windows, macOS и Linux. Вот пошаговая инструкция:

1. Скачайте LM Studio с официального сайта и установите как обычное приложение.
2. Запустите программу и на приветственном экране нажмите «Skip onboarding» в правом верхнем углу.
3. Нажмите на значок поиска в боковой панели слева (кнопка с лупой и роботом).
4. В поисковом поле введите «DeepSeek» и выберите нужную версию модели. Обратите внимание на квантовку — для начала рекомендуется Q4_K_M.
5. Нажмите «Download» в правом нижнем углу и дождитесь завершения загрузки.
6. Перейдите в раздел «Chat», где можно вводить запросы и получать ответы.

LM Studio предоставляет статистику по занятой оперативной памяти, загрузке процессора, скорости генерации и проценту использованного контекстного окна. Можно вести отдельные чаты на разные темы, как в ChatGPT.

Приложение частично переведено на русский язык: нажмите на иконку шестерёнки в правом нижнем углу и в разделе Language выберите «Русский (Beta)». Однако на момент подготовки материала переведены не все компоненты интерфейса.

По умолчанию LM Studio забирает почти всю доступную оперативную память. Чтобы продолжать пользоваться компьютером во время генерации, отключите параметр «Keep Model in Memory» в настройках (значок шестерёнки в верхней панели). Скорость генерации снизится, но и потребление ресурсов упадёт радикально.

Установка DeepSeek через Ollama

Ollama — это консольное приложение для запуска локальных языковых моделей. Оно доступно для Windows, macOS и Linux. Процесс установки:

1. Скачайте Ollama с официального сайта и установите как обычное приложение.
2. Откройте «Терминал» (или командную строку в Windows).
3. Запустите Ollama и выполните первичную настройку.
4. Введите команду ollama run deepseek-r1:7b для запуска модели на 7 миллиардов параметров. Для других версий измените число в конце команды (например, :1.5b или :14b).
5. Нажмите Enter, чтобы подтвердить ввод. Программа автоматически скачает модель с сервера.
6. После завершения загрузки в терминале появится поле ввода запроса. Ответ будет выводиться здесь же, а процесс «рассуждений» будет заключён в теги thinking.
7. Чтобы выйти из Ollama, введите /bye. Меню справки с полным списком команд открывается по команде /?.

Ollama работает в консольном режиме с минимумом настроек, что делает его лёгким и быстрым решением. Однако отсутствие графического интерфейса может быть неудобно для начинающих пользователей.

Установка DeepSeek через Docker и Open WebUI

Для тех, кто предпочитает веб-интерфейс, существует способ установки DeepSeek через Docker Desktop с интеграцией Open WebUI. Этот метод требует немного больше усилий, но предоставляет удобный браузерный интерфейс.

1. Скачайте и установите Docker Desktop. При установке выберите опцию «Use WSL2 instead of Hyper-V» и убедитесь, что она установлена по умолчанию.
2. Если на вашем компьютере не установлен компонент WSL2, Docker Desktop предложит его установить. Альтернативно, можно установить WSL2 через командную строку командой wsl --install.
3. Запустите Docker Desktop. При первом запуске программа может предложить создать учётную запись.
4. Откройте «Терминал» или командную строку и выполните команду:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

1. Дождитесь завершения скачивания файлов, затем перезагрузите компьютер.
2. Запустите браузер и перейдите по адресу http://localhost:3000/. Загрузится веб-интерфейс Open WebUI.
3. Зарегистрируйтесь, указав имя, адрес электронной почты и пароль.
4. В верхней части экрана нажмите «Выберите модель», впишите в поисковую строку «DeepSeek-R1» и нажмите «Загрузить DeepSeek-R1 с Ollama.com».
5. Дождитесь завершения загрузки модели, затем выберите её и начинайте общение.

Этот метод особенно удобен, если вы планируете использовать DeepSeek на нескольких устройствах в локальной сети или хотите получить полноценный веб-интерфейс с историей чатов.

Сравнение производительности локальной и серверной версий

Локальная версия DeepSeek значительно уступает серверной по скорости и качеству ответов. Например, на MacBook Air с чипом M1 и 8 ГБ памяти модель на 7 миллиардов параметров генерирует всего 0,28–0,33 токена в секунду при отключённом параметре «Keep Model in Memory». Ответ на простой вопрос о средней погоде в Красноярске в январе занял более 40 минут, тогда как веб-версия DeepSeek ответила на тот же вопрос чуть более чем за минуту.

Качество ответов также страдает. Локальная модель на 7 миллиардов параметров может выдавать ошибочные данные, например, утверждать, что средняя температура в Красноярске в январе колеблется от -5°C до 0°C, в то время как серверная версия выдала правдоподобный диапазон от -12°C до -20°C.

Кроме того, локальная модель может путать языки, перескакивая с русского на китайский или английский, а её объём знаний заметно скромнее. Для более качественных результатов рекомендуется общаться на английском языке, так как русский язык поддерживается хуже.

Однако для задач, не требующих высокой точности, или для экспериментов локальная версия может быть вполне приемлемой, особенно если у вас мощное оборудование.

Какие ещё нейросети можно запустить локально

DeepSeek — не единственная нейросеть, доступная для локального запуска. Через LM Studio, Ollama и другие инструменты можно установить десятки современных моделей. Вот некоторые из них:

• Llama 3 — семейство моделей от Meta, хорошо зарекомендовавшее себя в различных задачах.
• Qwen 3 — мощные модели от Alibaba, особенно сильны в работе с китайским языком.
• Gemma 3 — модели от Google, отличающиеся хорошей производительностью при относительно небольших размерах.
• Mistral и Mixtral — быстрые и качественные модели от французской компании Mistral AI.
• Phi — компактные модели от Microsoft, оптимизированные для работы на устройствах с ограниченными ресурсами.

Большинство из них доступны прямо через каталог LM Studio и устанавливаются буквально в несколько кликов. Выбор модели зависит от ваших задач: для программирования и рассуждений хорош DeepSeek R1, для общих вопросов — Llama 3 или Mistral.

Важно отметить, что ChatGPT от OpenAI не доступен для локальной установки. Пользоваться им можно только через официальный сервис или API.

Ограничения и рекомендации по выбору модели

При выборе модели для локального запуска важно учитывать несколько факторов. Во-первых, чем меньше модель, тем быстрее она работает, но тем ниже качество ответов. Модель на 1,5 миллиарда параметров может работать даже быстрее веб-версии, но её ответы будут малополезными.

Во-вторых, квантовка влияет на баланс между качеством и производительностью. Для большинства пользователей оптимальным выбором является Q4_K_M. Если у вас достаточно оперативной памяти (от 16 ГБ), можно попробовать Q6_K или Q8_0 для лучшего качества.

В-третьих, локальная модель DeepSeek-R1 занимает менее 7 ГБ и специализируется на рассуждениях и логических задачах. Она является частью гораздо более обширной модели DeepSeek-V3, которую тоже можно скачать на ПК, но она займёт более 500 ГБ. Для большинства пользователей дистиллированные версии являются разумным компромиссом.

Наконец, помните, что даже на мощном оборудовании локальная модель будет работать медленнее серверной. Если для вас критична скорость и точность, лучше использовать веб-версию DeepSeek или другие онлайн-сервисы.

Вопросы и ответы