Выделенный сервер искусственного интеллекта 

Общее описание

Выделенный ИИ-сервер (AI-server, сервер искусственного интеллекта) на базе больших языковых моделей (LLM) Gemma и графических ускорителей (GPU) NVIDIA для развертывания локальной нейросети внутри компании без подписок и утечки данных, автоматизации текстовых задач, создания корпоративных ассистентов и умного поиска по базе знаний.

Главное преимущество локального ИИ-сервера: полная независимость от сторонних облачных провайдеров и зарубежных подписок. Также немаловажным преимуществом является защита от утечек: все коммерческие документы, персональные данные клиентов и интеллектуальная собственность обрабатываются строго внутри корпоративного контура.

Функции и варианты применения

• Умный поиск по документам, сравнение и анализ;
• Автоматизация офисной работы;
• Ассистент (чат-бот), функционирующий на базе заданной базы знаний с возможностью обучения.

Архитектура 

На основе ОС Linux Ubuntu, Ollama, Gemma, Open Web UI. Используется ядро GNU/Linux, программное обеспечение с открытым исходным кодом.

Системные требования

Для минимальной системы требуется 16-ядерный процессор, 32Гб ОЗУ, видеоадаптер NVIDIA 24Гб, твердотельный накопитель (SSD) 512Гб.