Senior Data Engineer
12.2018 - 08.2022 |Сбербанка
Hadoop, impala, hive, spark, kafka,Teradata, Oracle, AirFlow, Oozie, Luigi
- Реализация и сборка витрин в хранилище данных (Hadoop/impala/hive/spark/kafka/Teradata/Oracle) для Data Science и Аналитики.
- Реализация pipeline процессов по загрузке данных из разных источников (AirFlow, Oozie, Luigi), формирование витрин и выставление моделей DS в прод.
- Налаживание сложных процессов подготовки и препроцессинга данных и реализации инференса нейронных сетей на кластере (Hadoop, pyspark, pytorch).
- Контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных (Data Quality).
Старший ETL разработчик
11.2017 - 12.2018 |Мобильные ТелеСистемы
Hadoop, Hive, Spark,Teradata, SQL, Python, Pentaho, Map-Reduce, Airflow, bash, Toad, Teradata Studio, Alation, jupiter notebook
- Работа с большими хранилищами данных (2 ПБ +), сбор и анализ данных, подготовка витрин данных для заказчиков.
- Разработка ETL скриптов и бизнес процессов для выгрузки и преобразования данных.
- Использование инструментов для работы с хранилищами.
Старший инженер программист, разработчик БД
07.2015 - 10.2017 |Digital Design
MS SQL Managment Studio, Profiler, SSAS, Transact-SQL, Vertica, Power BI, tableau BI, Python, Flask, SQLalchem, Javascipt, SQLite, ASP C# + XSLT, Visual Studio 2015, XSLT, HTML, javascript, Oxygen XML, Notepade ++, sublime text
- Создание и оптимизация сложных SQL запросов и хранимых процедур, функций, триггеров.
- Разработка детальных веб отчётов по документооборту, сбор и анализ данных.
- Microsoft SQL Server (2008 - 2014).
- Разработка конструктора отчетов на web.
- Реализация web интерфейсов для вывода отчётов пользователям.
- Разработка печатных форм и форм отображения данных.
Специалист по внедрению и сопровождению ПО
02.2012 - 07.2015 |ООО АйТи. Ведомственные системы.
Oracle 11, PL, SQL, XSLT, HTML, javascript, Oxygen XML, Notepade ++, sublime text, Java, Apache Tomcat, GlassFish, nginx
- Администрирование Oracle 11, реализация SQL запросов для выборок данных developer.
- Реализация web интерфейсов.
- Внедрение и сопровождение распределенных прикладных систем на Java, администрирование вэб серверов.
Такие сервисы как: РПГУ Вологодской области gosuslugi35.ru, Красноярского края www.gosuslugi.krskstate.ru, Калужской области uslugikalugi.ru и других регионов.
Информационные системы по электронному документообороту внутри государственных ведомств, таких как МЧС, ФСКН, ФТС и других.
- Тестирование продукта, выявление багов, создание задач на группу разработки.
Системный администратор
11.2009 - 01.2012 |ООО КЛУМБА МОБАЙЛ
.
- Сопровождение блютус роутеров Bluegiga Technologies (работающих на системе Linux).
- Внедрение продукта у заказчика по Москве и регионам (Нижний Новгород, Казань, Самара, Екатеринбург, Уфа.).
- Актуализация контента рекламы, настройка удаленной работы с блютус точками, администрирование linux.
