Исследователь-разработчик по дообучению LLM и асинхронному RL

Центр когнитивного моделирования (Институт ИИ МФТИ) приглашаетStrong Junior/Middle специалиста для участия в проекте по ускорению дообучения open-source моделей (Qwen, Llama) с помощью асинхронного RL и off-policy-коррекций.

Что предстоит делать:

• Реализовывать методы асинхронного обучения и дообучения LLM
• Генерировать гипотезы, планировать и проводить эксперименты на задачах рассуждения
• Выстраивать инфраструктуру обучения: использовать PyTorch, vLLM/TGI, оптимизировать низкоразрядный инференс
• Создавать воспроизводимые пайплайны для быстрой проверки идей
• Публиковать результаты работ в конференциях уровня A* (по желанию)

Наши ожидания:

• Уверенное владение Python/PyTorch и опыт обучения моделей
• Глубокие знания в одной из сфер: RL/RLHF/PPO/DPO/GRP, дообучение LLM или распределенные вычисления
• Навыки работы с Linux, Docker, Git и техническим английским языком
• Способность самостоятельно разбираться в новых задачах и доводить эксперименты до результата

Будет преимуществом: опыт с DeepSpeed, vLLM, квантованием (FP8/INT8), Curriculum learning или опытом публикаций в ICLR, NeurIPS, AAAI, ACL.

Мы предлагаем: работу в ведущем техническом вузе России (г. Долгопрудный), доступ к мощному GPU-кластеру, сильную исследовательскую среду, оформление по ТК РФ, а также бесплатный доступ к спортивной инфраструктуре кампуса МФТИ.