Назад к блогу
    Своя нейросеть в контуре компании: когда облачный ИИ нельзя использовать и что делать
    AI/ML
    3 октября 20263 мин чтения

    Своя нейросеть в контуре компании: когда облачный ИИ нельзя использовать и что делать

    Финансовый директор узнаёт, что менеджеры загружают договоры с клиентами в публичный чат-бот, чтобы «быстро сделать выжимку». Служба безопасности в панике, ИИ запрещают приказом. Через месяц сотрудники продолжают пользоваться им с личных телефонов — просто теперь об этом никто не знает.

    Знакомая история. Запреты не работают, потому что польза от нейросетей слишком очевидна. Работает другое — дать сотрудникам безопасную альтернативу. Разберём, когда облачные сервисы действительно нельзя использовать и как устроены локальные решения.

    Когда облако — плохая идея

    Облачные модели удобны: подключил и работаешь. Но есть ситуации, где передавать данные внешнему сервису рискованно или запрещено:

  1. Персональные данные клиентов. Закон о персональных данных накладывает требования к хранению и передаче, особенно за рубеж.
  2. Коммерческая тайна. Условия договоров, финансовая отчётность, ноу-хау производства.
  3. Отраслевые требования. Банки, медицина, госзаказ, оборонные предприятия — свои регламенты по защите информации.
  4. Требования крупных заказчиков. Всё чаще в договорах прямо прописывают запрет передачи данных третьим лицам.
  5. Доступность. Внешний сервис может изменить условия, ограничить доступ из вашего региона или просто не работать в нужный момент.
  6. Какие есть варианты

    1. Российские облачные модели

    Самый простой шаг: использовать модели отечественных провайдеров с размещением данных в России. Это закрывает вопрос трансграничной передачи, но данные всё равно уходят за пределы компании.

    2. Модель в частном облаке

    Открытая модель разворачивается на арендованных серверах, к которым есть доступ только у вас. Баланс между контролем и затратами: не нужно покупать железо, но данные не уходят к поставщику модели.

    3. Модель на собственных серверах

    Полностью закрытый контур: сервер стоит у вас, интернет для работы модели не нужен. Максимальный контроль, но и максимальные требования к инфраструктуре.

    Насколько локальные модели хуже облачных

    Честный ответ: в среднем — уступают самым мощным облачным моделям в сложных рассуждениях. Но для большинства бизнес-задач разница несущественна.

    Открытые модели последнего поколения хорошо справляются с:

  7. выжимками и пересказом документов
  8. ответами по базе знаний
  9. классификацией обращений
  10. извлечением данных из текстов — реквизитов, сумм, дат
  11. черновиками писем и типовых документов
  12. Хуже — со сложной аналитикой, многоэтапными рассуждениями, нестандартными творческими задачами. Часто разумная схема гибридная: чувствительные данные обрабатываются локально, а обезличенные задачи отправляются в мощную облачную модель.

    Что нужно по железу

    Главный ресурс для работы модели — видеокарта с большим объёмом памяти. Требования зависят от размера модели и числа одновременных пользователей:

  13. Небольшая модель для одного отдела запускается на одном сервере с профессиональной видеокартой.
  14. Модель среднего размера для всей компании требует более серьёзной конфигурации, часто с несколькими видеокартами.
  15. Самые крупные открытые модели — уже уровень небольшого вычислительного кластера.
  16. Перед покупкой железа мы всегда рекомендуем пилот в арендованном облаке: так вы поймёте, какая модель нужна под ваши задачи, и не переплатите за лишнюю мощность.

    Что ещё важно, кроме модели

  17. Интерфейс. Сотрудникам нужен удобный чат или интеграция в привычные системы — иначе они вернутся к публичным сервисам.
  18. Разграничение доступа. Бухгалтерия не должна видеть документы отдела кадров через вопросы к ИИ.
  19. Журнал запросов. Кто, что и когда спрашивал — для расследования инцидентов и улучшения системы.
  20. Обновления. Открытые модели выходят часто, поэтому систему нужно проектировать так, чтобы модель можно было заменить без переделки всего остального.
  21. Итог

    Запрещать нейросети бесполезно — сотрудники всё равно найдут способ ими пользоваться. Гораздо безопаснее дать им собственный инструмент, где данные не покидают контур компании. Для многих задач локальные модели уже достаточно хороши, а гибридная схема позволяет получить и безопасность, и качество.

    МАТ-Лабс помогает подобрать модель, развернуть её в нужном контуре и встроить в рабочие процессы. Запишитесь на бесплатную консультацию — обсудим ваши требования к безопасности и предложим подходящую архитектуру.

    Поделиться статьёй

    ВКонтактеTelegram