Дата инженер (Data engineer) (Управление модельных рисков и валидации)

Описание

Работа в составе команды валидации (в связке с DS и методологами), которая занимается оценкой эффективности моделей в анализируемом процессе и оценкой модельных рисков. Анализируются: подходы к разработке модели, стат показатели качества модели, качество данных, используемых на разработке и применении, ИТ системы и процессы использования модели.

ОБЯЗАННОСТИ:

• автоматизация загрузок с помощью Python;
• построение витрин данных (SQL, Python);
• преобразование данных из различных форматов (xml, json) к табличному виду с помощью Python;
• поиск ошибок и аномалий в данных (SQL, Python, PySpark), автоматизация проверок качества данных;
• расчёт признаков, подготовка агрегированных витрин данных (SQL, Python, PySpark);
• подготовка требований к формату и составу файлов для поставщиков данных;
• выстраивание процессов Data Governance на инфраструктуре Hadoop (контроль качества данных);
• контроль качества данных в хранилище (Hadoop) постановка задач, анализ;
• участие в проектах связанных с витринами данных, банковским хранилищем, MLOps.

ТРЕБОВАНИЯ:

• высшее физико-математическое/техническое/экономическое образование или обучение на последнем курсе технического ВУЗа;
• опыт работы в ИТ компаниях, подразделениях ИТ или рисков банка от 1 года;
• уверенные знания SQL, Python;
• знание PySpark как преимущество;
• опыт работы с BI системами и средствами визуализации как преимущество;
• знание стандартов по качеству данных.