Data Engineer: что делает инженер данных и кому подойдёт эта профессия

Два специалиста вместе изучают данные на ноутбуке
Стоковая иллюстрация. Фото olia danilevich / Pexels
Содержание статьи

У интернет-магазина есть журнал заказов, записи платёжной системы и отметки склада. Аналитик хочет узнать, сколько покупок действительно дошло до отправки. Он не получит надёжный ответ, если одна и та же оплата попадает в выгрузку дважды, а склад меняет прежние отметки задним числом. Инженер данных собирает потоки в предсказуемый процесс, договаривается о правилах обработки и делает так, чтобы ошибки можно было обнаружить и устранить.

Следующий шаг Профессии будущего: какие направления изучать и как проверить свой выбор

За что отвечает инженер данных

В небольшой команде инженер может лично написать загрузку из нескольких систем, организовать хранение, подготовить таблицы для отчётов и наладить уведомления. В большой компании обязанности чаще разделены. Одни инженеры поддерживают инфраструктуру и инструменты для всех команд, другие отвечают за наборы данных о продажах, логистике или использовании продукта. Граница проходит по тому, кому и какой результат вы обязаны предоставить.

Например, команда продаж просит таблицу, в которой каждой оплате соответствует заказ. Прежде чем соединять источники, инженер уточняет, бывают ли частичные платежи, платят ли за несколько заказов вместе и кто присваивает ключи. Если соединять по фамилии и дате, однофамильцев легко перепутать. Если соединять по номеру заказа, нужно отдельно разобрать случаи, где платёжная система передаёт пустой номер. Часть таких проблем решается договорённостью с владельцем источника и изменением схемы передаваемых данных.

Учебный случай: отчёт посчитал покупки дважды

Условная сеть магазинов получает события о продажах партиями. Из-за обрыва связи филиал отправил один пакет повторно. В магазине продано 125 товаров, а в сводке оказалось 250. Восстановить картину помогает идентификатор продажи, который формируется в момент операции. Он сохраняется при повторной отправке. Инженер определяет, как распознать повтор и когда разрешено заменить запись, если пришло исправление.

Удалить все одинаковые строки кажется простым решением. Но два покупателя могут независимо купить одинаковые товары на одну сумму. Записи в журнале должны отличаться по устойчивому идентификатору операции. Кроме того, повтор пакета и возврат денег представляют разные события. Если очистка выкинет возврат как «дубль», отчёт снова разойдётся с учётом.

Команда согласовывает проверку. Повторная загрузка одного пакета оставляет число продаж прежним. Исправленная сумма меняется только у нужной операции. Запись с пустым идентификатором сохраняется отдельно до выяснения причин, чтобы её можно было восстановить. Дежурный видит, какая партия задержалась и кто отвечает за первичный журнал. В конце вводят отдельную сверку итогов по магазину и дню. Наличие такой сверки важнее элегантности отдельного запроса.

Как Data Engineer связывает задачи конвейера данных

В документации Airflow задача описана как единица работы в графе. Зависимости задают последовательность выполнения. В должности Data Engineer это помогает обсуждать, когда данные считаются готовыми и какой отчёт затронет задержка одного этапа. Apache Airflow, задачи и зависимости.

Для учебной пробы нарисуйте цепочку из загрузки, проверки и публикации ежедневного набора данных. Отметьте, что увидит пользователь отчёта, если загрузка не завершилась вовремя. Затем запишите, кто получает сообщение и как команда подтверждает готовность. Это показывает понимание связей между компонентами и результата для коллег.

Как проходит рабочая неделя

В начале проекта приходится читать документацию источника и смотреть небольшие реальные выборки. Встретятся записи с разным количеством полей, незапланированными статусами и часовыми поясами. По нескольким первым строкам переносимость решения оценить трудно. Поэтому инженер отдельно выбирает примеры обычных операций и граничных случаев, а результаты проверки передаёт коллегам в пригодном для повторения виде.

После запуска появляются повторяющиеся задачи. Нужно следить за объёмом, временем выполнения, затратами хранения и сбоями. При изменении формата уведомление должно прийти раньше отчёта, использующего повреждённый набор. Задача инженера после такого сигнала состоит в том, чтобы очертить повреждённый период, решить, когда безопасно пересобрать данные, и сообщить пользователям, какие отчёты пока ненадёжны. Иногда исправление занимает час, а воспроизведение затронутого периода дольше из-за размеров массива и очереди работ.

Инструменты отличаются по компаниям. Например, документация Apache Airflow показывает, как описывать, планировать и наблюдать за выполнением последовательности задач. Навык построения такого процесса предполагает также понимание причин сбоя и способов безопасного повтора. Apache Airflow — документация проекта.

Кому подойдёт роль и как её попробовать

Работа подойдёт тем, кому интересно восстановить причину расхождения и превратить находку в правило. Здесь много SQL, чтения журналов, обсуждения смысла полей и обратной связи людям, уже использующим данные. Частота дежурств и доля аварийной поддержки зависят от работодателя. Спросите на собеседовании, кто отвечает за ночные сбои, как согласуют изменения правил и какую часть времени команда тратит на новые наборы.

Для первой пробы придумайте таблицу из нескольких заказов. Добавьте повтор, возврат, пропуск идентификатора и позднее уточнение суммы. Составьте ожидаемый итог для каждого случая. Затем соберите загрузку и запустите её дважды. Отдельно запишите, как узнать о пропущенном файле и что делать при расхождении итогов. Для упражнения достаточно локальной базы и синтетических записей. Данные клиентов использовать не нужно.

Если интереснее придумать вопрос к данным и обосновать чистый расчёт, стоит также посмотреть вакансии аналитика. Если больше увлекает превращение нестабильной поставки в воспроизводимый набор, это сильный признак интереса именно к инженерной части. На собеседовании попросите описать недавний сбой и путь восстановления. Ответ даст представление о задачах, инструментах и качестве совместной работы.