MLOps / инженер LLM-инфраструктуры

Описание вакансии

компания "unitel llc"

обязанности:

• эксплуатировать и масштабировать стек обслуживания: vllm, litellm как шлюз, и др. nginx, авторизация по bearer-токену для каждого сервиса.
• проводить нагрузочные тесты на разных gpu и моделях при разной конкурентности и длине контекста и превращать результаты в решения по аппаратному обеспечению и моделям.
• размещать несколько сервисов на ограниченных gpu: квантизация, sleep mode в vllm и загрузка по требованию, совместное размещение stt/tts, сервисов эмбеддингов и других моделей/сервисов.
• строить мониторинг, алертинг и наблюдаемость llm (prometheus/grafana, langfuse), а также отчёты по использованию и затратам по командам.
• автоматизировать деплой: ci/cd в gitlab, версионированные docker-образы, воспроизводимые окружения с учётом корпоративной tls-инспекции.
• отвечать за бэкапы, защиту и контроль доступа на gpu-серверах.
• другие задачи связанные с ml

требования:

• от 3 лет в devops, sre или mlops; минимум 1 год обслуживания llm или других gpu-моделей в продакшне.
• глубокий практический опыт с vllm, tgi, sglang или tensorrt-llm; понимание kv-кэша, батчинга, tensor parallelism и квантизации (awq, gptq, fp8).
• уверенные linux, docker, драйверы nvidia/cuda, nginx, сети и tls.
• нагрузочное тестирование и анализ производительности: пропускная способность, ttft, перцентили задержки.
• скрипты на python и bash; gitlab ci или аналоги.

будет плюсом

• kubernetes с nvidia gpu operator или ray serve.
• опыт совмещения собственных и арендованных облачных gpu.
• пайплайны дообучения (lora) и реестры моделей.

условия:

• оформление трудовых отношений в соответствии с действующим законодательством.
• добровольная медицинская страховка или абонемент в фитнес-клуб чехов.
• 27 календарных дней оплачиваемого отпуска в год.
• возможности для обучения и развития сотрудников, корпоративные тренинги.
• служебная сотовая связь.

Метки