Ищем инженера для проекта по развёртыванию ИИ-инфраструктуры для среднего немецкого бизнеса (Mittelstand). Работаем с реальными моделями на реальном оборудовании клиента, а не через облачные API вроде OpenAI.
Обязанности:
- локальное развёртывание языковых моделей, без использования облачных API;
- работа с квантизацией моделей, подбором параметров и ограничениями по оборудованию;
- проектирование агентных архитектур: систем, в которых работают и взаимодействуют друг с другом ИИ-агенты;
- работа с Linux, контейнерами и сетевой инфраструктурой, что составляет основу проекта.
Требования:
- понимание принципов работы языковых моделей: параметры, квантизация, типичные проблемы при локальном развёртывании;
- опыт проектирования программных решений с агентной архитектурой, уверенное владение Linux, Docker и сетевыми технологиями;
- опыт full-stack разработки как большой плюс (нужны полноценные, готовые к продакшену решения, а не "на коленке");
- плюсом будет опыт работы с Ollama, vLLM, llama.cpp или аналогичными инструментами;
- английский от уровня B2, необходим для части задач, где потребуется прямое техническое общение с клиентом.