Как стать ML-инженером: что учить и какой проект показать

Содержание статьи
ML-инженер помогает включить модель машинного обучения в рабочий процесс. В учебном проекте бывает достаточно оценить качество модели в ноутбуке. В продукте важны также доступность данных в нужный момент, повторяемость оценки, время ответа и понятные действия при сбое. Хороший первый проект показывает связь между задачей пользователя, данными, моделью и способом получения результата.
Следующий шаг Профессии будущего: какие направления изучать и как проверить свой выбор
Начните с задач и базы программирования
Потренируйтесь читать таблицы, соединять данные, проверять пропуски и писать понятные функции на Python. Освойте базовый SQL для получения и агрегирования записей. Храните код в системе контроля версий, выделяйте параметры запуска и фиксируйте зависимости. Цель первого этапа — сделать небольшой расчёт, который сможет воспроизвести другой человек. Желательно уметь объяснить каждое преобразование, а также проверять граничные случаи: отсутствие записи, повторный идентификатор и неожиданное значение поля.
Затем разберите базовые постановки машинного обучения. Классификация помогает работать с категориями, регрессия — с числовыми прогнозами. Для начала выберите задачу с понятным моментом принятия решения. Например, программе нужен прогноз количества обращений на завтра. Сразу назовите получателя результата и обозначьте, что он будет делать с прогнозом. Этот шаг помогает выбрать метрику и определить список информации, доступной на практике.
Сравните модель с простым решением
Для задачи прогнозирования спроса одним из первых вариантов может быть среднее число обращений за сопоставимые предыдущие дни. Такой прогноз служит точкой отсчёта. Когда добавите модель, сравните результаты на одной и той же выборке. Для прогноза на будущий период обычно важно сохранить порядок времени: обучаться на прошлом, оценивать на более позднем периоде. Убедитесь, что данные будущего не попали в преобразования, подсчёт средних и выбор признаков.
Полезно смотреть и на типичные ошибки. Если среднее качество выросло, но в самые загруженные часы прогноз приходится регулярно пересматривать вручную, результат может не устраивать команду. Откройте несколько случаев с большими отклонениями. Проверьте, не осталось ли в данных праздничных переносов или пропусков. Для портфолио опишите, какие ошибки сильнее всего влияют на пользователя и что вы сделали для их обнаружения.
Как ML-инженер проверяет модель на данных, которых она не видела
Документация scikit-learn предупреждает, что при подготовке данных к обучению нельзя использовать сведения из проверочной выборки. Иначе итоговая метрика может выглядеть лучше, чем при применении модели. Для портфолио покажите, где проходит граница между обучением и проверкой. scikit-learn, типичные ошибки и утечка данных.
В проекте прогноза заявок отложите заранее определённый период и зафиксируйте, какие признаки доступны к моменту прогноза. Затем сопоставьте модель с простым ориентиром на одних данных. В выводе сообщите, у каких групп заявок ошибка оказалась больше и что потребовало бы дополнительной проверки.
Учебный кейс: прогноз заявок на доставку
Представьте, что городской сервис планирует число машин на завтра. У вас есть история заявок по дням. Добавьте простой прогноз и измерьте среднюю абсолютную ошибку на отложенном периоде. Затем возьмите модель со сведениями, которые действительно будут известны к моменту прогноза: календарь и недавнее число заявок. Сравните версии по одинаковому набору дат. Отдельно посмотрите дни сильной нагрузки и объясните, какой запас мог бы понадобиться пользователям прогноза.
Подготовьте скрипт, который читает входной файл, валидирует обязательные колонки и пишет результат с датой расчёта. Сымитируйте отсутствие данных за вчерашний день. Запишите наблюдаемое поведение. Можно остановить выполнение с понятной причиной либо использовать заранее оговорённый резервный режим и отметить его в отчёте. Проверьте, сможет ли коллега запустить ваш проект по README. Это покажет, какой частью работы должны заниматься инженеры вокруг модели.
Что добавить в портфолио и как искать первую роль
В README полезно описать пользовательскую задачу, происхождение данных и время, когда доступны признаки. Покажите исходное правило и модель, метрику, способ разделения выборки и результаты для сложных случаев. Укажите, сколько времени занимает получение результата на вашей машине и какую часть работы проверяли вручную. Поддержите рассказ маленькой схемой: источник данных, подготовка, модель, выходной файл или интерфейс. Сохраните список ограничений: например, учебные данные охватывают только один город и один период.
В вакансиях встречается разный баланс работы. Где-то важнее подготовка признаков и эксперименты, где-то — поставка модели, проверка данных и поддержка уже работающего решения. Просмотрите десять описаний начальных ролей и отметьте требования по трём группам: программирование, данные и эксплуатация. Выберите два пробела, которые повторяются чаще всего, и обновите проект. На собеседовании рассказывайте, какое изменение сделало результат воспроизводимым и какой риск вы бы проверили перед запуском.
Для учебных упражнений подойдут Machine Learning Crash Course от Google и руководство scikit-learn по ошибкам подготовки данных. О задачах эксплуатации — курс Google о производственных системах ML.
Если исходные данные нельзя положить в открытый репозиторий, добавьте небольшой синтетический пример. Он должен показывать структуру полей и несколько случаев: обычный день, пустой файл и неизвестную категорию. Сам результат оценки приведите отдельно, с описанием происхождения выборки и условий её использования. На собеседовании собеседник сможет установить, какие части проекта он может запускать, а какие описаны только в отчёте. Так ваши выводы остаются проверяемыми даже без передачи реальных записей.
Чтобы оценить содержание работы и её условия, откройте отдельный разбор: ML-инженер: чем занимается и как превращает модель в работающий сервис.