К содержанию
Все статьи

Локальные нейросети для бизнеса: когда данные нельзя отдавать в облако

Когда бизнесу нужен локальный ИИ-агент: персональные данные по 152-ФЗ, коммерческая тайна, независимость от поставщика. Какие открытые модели есть, как начать с Ollama, что учесть по железу и почему чаще всего выигрывает гибрид.

🧑‍💻Сергей Шульман 7 мин чтения

Локальный ИИ-агент — это нейросеть, которая работает на вашем сервере или компьютере, а не в чужом облаке. Вопрос о нём обычно возникает в один момент: юрист или служба безопасности спрашивает «а куда уходят данные клиентов?», и честного ответа нет. В этой статье разберу, когда локальные нейросети для бизнеса действительно нужны, а когда это дорогая перестраховка, какие открытые модели есть, как начать с Ollama и почему в большинстве компаний я в итоге строю гибрид.

Коротко:

  • Локальная модель нужна, когда данные нельзя отдавать наружу: персональные данные клиентов, коммерческая тайна, код и документы, утечка которых стоит дороже любой экономии.
  • Открытых моделей много: Qwen, Gemma, gpt-oss, DeepSeek-R1, Llama и другие, разных размеров — от запускаемых на ноутбуке до требующих серьёзного сервера.
  • Самый простой способ начать — Ollama: скачать, запустить модель одной командой, подключить к агенту через локальный API.
  • Локальные модели слабее топовых облачных. Поэтому чаще всего выигрывает гибрид: чувствительное — локально, остальное — через российское облако.
  • Начинать с покупки сервера не нужно. Сначала проверьте задачу на небольшой модели и только потом считайте железо.

Когда локальная нейросеть действительно нужна

Персональные данные

152-ФЗ требует, чтобы при сборе персональных данных граждан России их запись, хранение и обработка шли в базах данных на территории России (ч. 5 ст. 18), а передача за рубеж — отдельная процедура со своими правилами. Если агент разбирает анкеты клиентов, медицинские карты, кадровые документы или переписку с ФИО и телефонами, вопрос «куда уходят данные» перестаёт быть теоретическим. Точную правовую оценку для вашего случая даст юрист, но технически у вас два чистых варианта: российское облако или свой сервер.

Коммерческая тайна

Исходный код, финансовая модель, условия с ключевыми клиентами, технологические карты. Даже если облачный провайдер обещает не обучаться на ваших данных, некоторые компании просто не готовы выпускать такое за периметр. Это нормальное бизнес-решение.

Стабильность и независимость

Зарубежные сервисы официально не обслуживают Россию, условия облаков меняются, цены растут. Локальная модель работает, пока работает ваш сервер, и не зависит от того, что решит поставщик в следующем квартале.

Когда локальная модель не нужна

Если агент пишет посты, отвечает на вопросы о часах работы или делает выжимки из открытых документов, локальная установка — лишние расходы. Для таких задач хватает российских облаков: GigaChat, Alice AI и открытые модели в Yandex AI Studio, модели в MWS GPT. Карту вариантов я собрал в статье «ИИ для бизнеса: какие нейросети работают в России».

Какие открытые модели есть

Открытые веса — модели, которые разработчик опубликовал для скачивания и запуска у себя. В каталоге Ollama на декабрь 2026 года среди популярных:

СемействоРазработчикРазмеры в каталоге OllamaГде пригодится
Qwen3, Qwen3.5Alibabaот долей миллиарда до сотен миллиардов параметровУниверсальная работа, русский язык, агенты
Gemma 4Googlee2b, e4b, 12b, 26b, 31bНебольшие задачи, быстрый старт
gpt-ossOpenAI20b, 120bРассуждения, инструменты
DeepSeek-R1DeepSeekот 1,5b до 671bРассуждения, анализ
Llama 3.xMetaот 1b до 405bОбщие задачи

Буква «b» — миллиарды параметров. Грубо: чем больше модель, тем она умнее и тем больше памяти ей нужно.

Важная оговорка: в каталоге Ollama есть и облачные модели (с пометкой cloud) — например, свежие версии GLM, Kimi и DeepSeek. Они запускаются не у вас, а на серверах Ollama, то есть это уже не локальный вариант. Если цель — чтобы данные не покидали компанию, смотрите, чтобы у модели были локальные размеры.

Как начать: путь через Ollama

Ollama — программа, которая скачивает открытые модели и запускает их у вас, а наружу отдаёт API, к которому подключаются агенты и приложения. Путь из официальной документации:

  1. Скачать Ollama для macOS, Windows или Linux с официального сайта и запустить.
  2. Запустить модель одной командой, например:
ollama run gemma4:e2b

Ollama скачает модель (эта — около 7,2 ГБ) и откроет чат прямо в терминале. Выход — /bye.

  1. Подключить к агенту. Локальный сервер Ollama слушает порт 11434, к нему подключаются агентные инструменты. Например, OpenCode умеет работать с локальными моделями, а Ollama документирует подключение и к Claude Code. Для агентной работы нужна модель с поддержкой инструментов и контекстом от 64 тысяч токенов. Учтите: Anthropic официально не поддерживает работу Claude Code с моделями не от Claude, поэтому для процессов компании я ставлю открытый агент — подробнее в статье «Аналоги Claude Code в России».

Первый тест занимает вечер на обычном рабочем компьютере. Этого достаточно, чтобы понять, справляется ли небольшая модель с вашей задачей, — до любых закупок.

Железо: что учесть

Конкретную конфигурацию считаю под задачу, но общие принципы такие:

  • Главный ресурс — память видеокарты (или общая память у компьютеров, где она общая для процессора и графики). Модель должна в неё поместиться, иначе работает медленно.
  • Размер модели определяет требования. Небольшие модели запускаются на хорошем ноутбуке. Модели на десятки миллиардов параметров требуют рабочей станции или сервера с мощной видеокартой. Самые большие открытые модели — это уже серверное оборудование, которое имеет смысл только при большом потоке задач.
  • Параллельная работа. Один сотрудник и двадцать сотрудников одновременно — разные требования. Считайте пиковую нагрузку, а не среднюю.
  • Обслуживание. Сервер нужно обновлять, мониторить и защищать. Это постоянная работа, а не разовая покупка.

Мой подход: сначала подбираем самую маленькую модель, которая справляется с задачей на реальных примерах, и только под неё считаем железо. Обратный порядок — купить сервер «на вырост» и потом искать, чем его загрузить, — самая дорогая ошибка в этой теме.

Гибрид: как это обычно устроено на практике

Чистое «всё локально» встречается редко. Чаще схема такая:

  • Локально — то, что касается персональных данных и коммерческой тайны: разбор анкет и документов, поиск по внутренней базе знаний, работа с кодом.
  • Российское облако — то, где нужна сильная модель и нет чувствительных данных: тексты, аналитика по обезличенным данным, сложные рассуждения.
  • Маршрутизатор правил — простая логика, которая решает, куда отправить запрос. Например, если в тексте есть ФИО или телефон — только локально.

Такую схему я и проектирую у клиентов: агент один, а модели под ним разные. Если завтра выйдет модель лучше, её можно подключить, не перестраивая процессы. Подробнее о том, как работать с документами компании через ИИ, — в статье про RAG, а пример с учётными данными — в статье «ИИ и 1С».

Чего ждать от локальной модели честно

  • Качество ниже топовых облачных моделей. Для узких задач (извлечь поля из документа, классифицировать обращение, найти ответ в базе знаний) разницу часто не видно. Для сложного кода и длинных рассуждений — видно.
  • Скорость зависит от железа. На слабом компьютере ответ может идти заметно дольше, чем в облаке.
  • Безопасность всё равно на вас. Локальная модель не делает систему безопасной автоматически: права доступа, журналы и защита сервера остаются вашей задачей.

Частые вопросы

Что такое локальный ИИ-агент? Агент, у которого нейросеть работает на вашем сервере или компьютере. Данные не уходят к стороннему провайдеру, а сам агент подключается к вашим системам через локальный API.

Какую локальную нейросеть выбрать для бизнеса? Ту, что справляется с вашими реальными задачами при минимальном размере. Разумно взять две-три модели разных размеров, например Qwen и Gemma, и сравнить их на 30–50 реальных примерах.

Можно ли запустить нейросеть на обычном компьютере? Небольшую — да, Ollama запускается на macOS, Windows и Linux. Для работы всей команды и больших моделей понадобится сервер с мощной видеокартой.

Локальная модель решает вопрос 152-ФЗ? Она снимает вопрос о передаче данных стороннему провайдеру, но не отменяет остальных требований к обработке персональных данных. Окончательную оценку даст юрист.

Что дешевле — облако или свой сервер? При небольшом потоке почти всегда облако. Свой сервер окупается при большом и стабильном объёме задач или когда данные нельзя выпускать наружу в принципе.


Если у вас есть процесс, где данные нельзя отдавать в облако, посмотрите, как я запускаю AI-сотрудников, или опишите задачу в Telegram — подскажу, хватит ли локальной модели или нужен гибрид.

Похожие статьи: ИИ и 1С: как подключить агента к учёту · Аналоги Claude Code в России

Читайте также

Есть похожая задача?

Разберу её бесплатно за 30 минут и предложу решение. Пишите в Telegram или звоните.