Локальные нейросети для бизнеса: когда данные нельзя отдавать в облако
Когда бизнесу нужен локальный ИИ-агент: персональные данные по 152-ФЗ, коммерческая тайна, независимость от поставщика. Какие открытые модели есть, как начать с Ollama, что учесть по железу и почему чаще всего выигрывает гибрид.

Локальный ИИ-агент — это нейросеть, которая работает на вашем сервере или компьютере, а не в чужом облаке. Вопрос о нём обычно возникает в один момент: юрист или служба безопасности спрашивает «а куда уходят данные клиентов?», и честного ответа нет. В этой статье разберу, когда локальные нейросети для бизнеса действительно нужны, а когда это дорогая перестраховка, какие открытые модели есть, как начать с Ollama и почему в большинстве компаний я в итоге строю гибрид.
Коротко:
- Локальная модель нужна, когда данные нельзя отдавать наружу: персональные данные клиентов, коммерческая тайна, код и документы, утечка которых стоит дороже любой экономии.
- Открытых моделей много: Qwen, Gemma, gpt-oss, DeepSeek-R1, Llama и другие, разных размеров — от запускаемых на ноутбуке до требующих серьёзного сервера.
- Самый простой способ начать — Ollama: скачать, запустить модель одной командой, подключить к агенту через локальный API.
- Локальные модели слабее топовых облачных. Поэтому чаще всего выигрывает гибрид: чувствительное — локально, остальное — через российское облако.
- Начинать с покупки сервера не нужно. Сначала проверьте задачу на небольшой модели и только потом считайте железо.
Когда локальная нейросеть действительно нужна
Персональные данные
152-ФЗ требует, чтобы при сборе персональных данных граждан России их запись, хранение и обработка шли в базах данных на территории России (ч. 5 ст. 18), а передача за рубеж — отдельная процедура со своими правилами. Если агент разбирает анкеты клиентов, медицинские карты, кадровые документы или переписку с ФИО и телефонами, вопрос «куда уходят данные» перестаёт быть теоретическим. Точную правовую оценку для вашего случая даст юрист, но технически у вас два чистых варианта: российское облако или свой сервер.
Коммерческая тайна
Исходный код, финансовая модель, условия с ключевыми клиентами, технологические карты. Даже если облачный провайдер обещает не обучаться на ваших данных, некоторые компании просто не готовы выпускать такое за периметр. Это нормальное бизнес-решение.
Стабильность и независимость
Зарубежные сервисы официально не обслуживают Россию, условия облаков меняются, цены растут. Локальная модель работает, пока работает ваш сервер, и не зависит от того, что решит поставщик в следующем квартале.
Когда локальная модель не нужна
Если агент пишет посты, отвечает на вопросы о часах работы или делает выжимки из открытых документов, локальная установка — лишние расходы. Для таких задач хватает российских облаков: GigaChat, Alice AI и открытые модели в Yandex AI Studio, модели в MWS GPT. Карту вариантов я собрал в статье «ИИ для бизнеса: какие нейросети работают в России».
Какие открытые модели есть
Открытые веса — модели, которые разработчик опубликовал для скачивания и запуска у себя. В каталоге Ollama на декабрь 2026 года среди популярных:
| Семейство | Разработчик | Размеры в каталоге Ollama | Где пригодится |
|---|---|---|---|
| Qwen3, Qwen3.5 | Alibaba | от долей миллиарда до сотен миллиардов параметров | Универсальная работа, русский язык, агенты |
| Gemma 4 | e2b, e4b, 12b, 26b, 31b | Небольшие задачи, быстрый старт | |
| gpt-oss | OpenAI | 20b, 120b | Рассуждения, инструменты |
| DeepSeek-R1 | DeepSeek | от 1,5b до 671b | Рассуждения, анализ |
| Llama 3.x | Meta | от 1b до 405b | Общие задачи |
Буква «b» — миллиарды параметров. Грубо: чем больше модель, тем она умнее и тем больше памяти ей нужно.
Важная оговорка: в каталоге Ollama есть и облачные модели (с пометкой cloud) — например, свежие версии GLM, Kimi и DeepSeek. Они запускаются не у вас, а на серверах Ollama, то есть это уже не локальный вариант. Если цель — чтобы данные не покидали компанию, смотрите, чтобы у модели были локальные размеры.
Как начать: путь через Ollama
Ollama — программа, которая скачивает открытые модели и запускает их у вас, а наружу отдаёт API, к которому подключаются агенты и приложения. Путь из официальной документации:
- Скачать Ollama для macOS, Windows или Linux с официального сайта и запустить.
- Запустить модель одной командой, например:
ollama run gemma4:e2b
Ollama скачает модель (эта — около 7,2 ГБ) и откроет чат прямо в терминале. Выход — /bye.
- Подключить к агенту. Локальный сервер Ollama слушает порт 11434, к нему подключаются агентные инструменты. Например, OpenCode умеет работать с локальными моделями, а Ollama документирует подключение и к Claude Code. Для агентной работы нужна модель с поддержкой инструментов и контекстом от 64 тысяч токенов. Учтите: Anthropic официально не поддерживает работу Claude Code с моделями не от Claude, поэтому для процессов компании я ставлю открытый агент — подробнее в статье «Аналоги Claude Code в России».
Первый тест занимает вечер на обычном рабочем компьютере. Этого достаточно, чтобы понять, справляется ли небольшая модель с вашей задачей, — до любых закупок.
Железо: что учесть
Конкретную конфигурацию считаю под задачу, но общие принципы такие:
- Главный ресурс — память видеокарты (или общая память у компьютеров, где она общая для процессора и графики). Модель должна в неё поместиться, иначе работает медленно.
- Размер модели определяет требования. Небольшие модели запускаются на хорошем ноутбуке. Модели на десятки миллиардов параметров требуют рабочей станции или сервера с мощной видеокартой. Самые большие открытые модели — это уже серверное оборудование, которое имеет смысл только при большом потоке задач.
- Параллельная работа. Один сотрудник и двадцать сотрудников одновременно — разные требования. Считайте пиковую нагрузку, а не среднюю.
- Обслуживание. Сервер нужно обновлять, мониторить и защищать. Это постоянная работа, а не разовая покупка.
Мой подход: сначала подбираем самую маленькую модель, которая справляется с задачей на реальных примерах, и только под неё считаем железо. Обратный порядок — купить сервер «на вырост» и потом искать, чем его загрузить, — самая дорогая ошибка в этой теме.
Гибрид: как это обычно устроено на практике
Чистое «всё локально» встречается редко. Чаще схема такая:
- Локально — то, что касается персональных данных и коммерческой тайны: разбор анкет и документов, поиск по внутренней базе знаний, работа с кодом.
- Российское облако — то, где нужна сильная модель и нет чувствительных данных: тексты, аналитика по обезличенным данным, сложные рассуждения.
- Маршрутизатор правил — простая логика, которая решает, куда отправить запрос. Например, если в тексте есть ФИО или телефон — только локально.
Такую схему я и проектирую у клиентов: агент один, а модели под ним разные. Если завтра выйдет модель лучше, её можно подключить, не перестраивая процессы. Подробнее о том, как работать с документами компании через ИИ, — в статье про RAG, а пример с учётными данными — в статье «ИИ и 1С».
Чего ждать от локальной модели честно
- Качество ниже топовых облачных моделей. Для узких задач (извлечь поля из документа, классифицировать обращение, найти ответ в базе знаний) разницу часто не видно. Для сложного кода и длинных рассуждений — видно.
- Скорость зависит от железа. На слабом компьютере ответ может идти заметно дольше, чем в облаке.
- Безопасность всё равно на вас. Локальная модель не делает систему безопасной автоматически: права доступа, журналы и защита сервера остаются вашей задачей.
Частые вопросы
Что такое локальный ИИ-агент? Агент, у которого нейросеть работает на вашем сервере или компьютере. Данные не уходят к стороннему провайдеру, а сам агент подключается к вашим системам через локальный API.
Какую локальную нейросеть выбрать для бизнеса? Ту, что справляется с вашими реальными задачами при минимальном размере. Разумно взять две-три модели разных размеров, например Qwen и Gemma, и сравнить их на 30–50 реальных примерах.
Можно ли запустить нейросеть на обычном компьютере? Небольшую — да, Ollama запускается на macOS, Windows и Linux. Для работы всей команды и больших моделей понадобится сервер с мощной видеокартой.
Локальная модель решает вопрос 152-ФЗ? Она снимает вопрос о передаче данных стороннему провайдеру, но не отменяет остальных требований к обработке персональных данных. Окончательную оценку даст юрист.
Что дешевле — облако или свой сервер? При небольшом потоке почти всегда облако. Свой сервер окупается при большом и стабильном объёме задач или когда данные нельзя выпускать наружу в принципе.
Если у вас есть процесс, где данные нельзя отдавать в облако, посмотрите, как я запускаю AI-сотрудников, или опишите задачу в Telegram — подскажу, хватит ли локальной модели или нужен гибрид.
Похожие статьи: ИИ и 1С: как подключить агента к учёту · Аналоги Claude Code в России