Актуальные заказы по Cloud Engineer

Lead Data Engineer

Удаленно
Full-time

The project, a platform for creating and publishing content on social media using artificial intelligence tools, is looking for a Lead Data Engineer.


Responsibilities:

- Design, develop, and maintain robust and scalable data pipelines for collecting, processing, and storing data from diverse social media sources and user interactions.

- Design of data warehouse.

- Implement rigorous data quality checks and validation processes to uphold the integrity.

accuracy, and reliability of social media data used by our AI models.

- Automate Extract, Transform, Load (ETL) processes to streamline data ingestion and transformation, reducing manual intervention and enhancing efficiency.

- Continuously monitor and optimize data pipelines to improve speed, reliability, and scalability, ensuring seamless operation of our AI Assistant.

- Collaborate closely with Data Scientists, ML Engineers, and cross-functional teams to understand data requirements and provide the necessary data infrastructure for model development and training.

- Enforce data governance practices, guaranteeing data privacy, security, and compliance with relevant regulations, including GDPR, in the context of social media data.

- Establish performance benchmarks and implement monitoring solutions to identify and address bottlenecks or anomalies in the data pipeline.

- Collaborate with data analysts and business teams to design interactive dashboards that enable data-driven decision-making.

- Develop and support data marts and dashboards that provide real-time insights into social media data.

- Stay updated with emerging data technologies, tools, and frameworks, evaluating their potential to improve data engineering processes.


Qualifications:

- Bachelor's or Master's degree in Computer Science, Data Engineering, or a related field.

- Proven experience in data engineering, focusing on ETL processes, data pipeline development, and data quality assurance.

- Strong proficiency in programming languages such as Python, SQL and knowledge of data engineering libraries and frameworks.

- Experience with cloud-based data storage and processing solutions, such as AWS, Azure, or Google Cloud.

- Familiarity with DataOps principles and Agile methodologies.

- Excellent problem-solving skills and the ability to work collaboratively in a cross-functional team.

- Strong communication skills to convey technical concepts to non-technical stakeholders.

- Knowledge of data governance and data privacy regulations is a plus.

Senior Azure DevOps engineer

Удаленно
Full-time

Project in healthcare industry.


Responsibilities

  • Build the automation processes of our Big Data platforms.
  • Install, deploy, configure, maintain and monitor infrastructure, systems, and management tools of our Big Data platforms.
  • Ensure the highest levels of systems and infrastructure availability for our Big Data platforms.
  • Ensure the proper security standards in terms of infrastructure, systems, and processes.
  • Monitor and test application performance for potential bottlenecks, identify possible solutions and work with developers to implement fixes Provide 2nd level support.
  • Liaise with vendors (Azure and Databricks) and other IT personnel for problem resolution.


General Requirements

  • University degree or similar education in Software Engineering or Computer Science.
  • At least 3 years experience in DevOps and/or in using automation to build infrastructure.
  • Fluent English and good communication skills both in verbal and written form.
  • Ability to work in a globally distributed environment.


Technical Skills

  • Understanding of infrastructure automation concepts and good hands-on knowledge of Ansible.
  • Understanding of containerization concepts and strong knowledge of Docker.
  • Good understanding of Versioning Control systems and strong knowledge of Git.
  • Hands-on experience in Linux administration and in Bash scripting.
  • Experience with Jenkins.
  • Proficiency in writing scripts in Python.
  • Understanding of cloud paradigms (IaaS/SaaS/PaaS).
  • Understanding of networking concepts and cybersecurity best practices.
  • Understanding of agile software development process.
  • Accustomed to leverage tools like Confluence and Jira for knowledge and collaboration management.
  • Hands-on experience with MS Azure.
  • Experience with container orchestration and knowledge of Azure Kubernetes.
  • Familiarity with Big Data technologies: Spark/Hadoop, Azure Databricks, Apache Airflow.
  • Understanding of SQL and NoSQL database types, paradigms, and design patterns.

Lead Azure DevOps Engineer

Удаленно
Full-time
Проектная занятость

Project: IT service provider for the life science and healthcare industry.


Responsibilities:

  • Managing a distributed team of DevOps engineers and streams within the project
  • Participating in customer meetings, setting objectives, and responding to inquiries
  • Advising on technical aspects of installation, configuration, sizing, and scaling in Azure Cloud
  • Providing new Azure Cloud resources and services via Terraform and/or Azure ARM templates (including Azure Policies and Azure Blueprints)
  • Managing and supporting various environments in Microsoft Azure Cloud
  • Configuring and managing the infrastructure deployed in Azure Cloud
  • Developing and managing the CI/CD process in Azure DevOps for different types of applications, environments, and automation processes
  • Deploying and configuring various data pipelines based on Data Factory, Azure Batch, and Azure Databricks
  • Automating deployment of application code to different environments
  • Managing build assembly, deployment, and configuration, testing implemented solutions.
  • Managing and deploying custom scripts.


What we expect:

  • Deep understanding of Azure Cloud, Azure DevOps/Pipelines
  • Effective team management skills
  • Strong customer negotiation skills
  • Good knowledge of Terraform and/or Azure ARM templates/Blueprints
  • Solid experience with Kubernetes/Docker
  • Knowledge of Azure Virtual Networks, App Services, PostgreSQL, Virtual machines, Data Factory, Batch, Functions (Serverless), Logic Apps
  • Knowledge of Azure Monitor, Security Center, Log Analytics, and App Insights and ability to use them for system monitoring and developer support (logs, traces, RCAs)
  • Experience in creating infrastructure (planning, scaling, monitoring)
  • Upper-Intermediate English or higher.


AWS DevOps engineer

Seniority: Senior 

We are looking for an AWS DevOps engineer with the following experience:


- AWS Services;

- Postgres and MongoDB (cloud databases);

- Setting up databases for UAT and Production;

- First-hand experience with Containers and AWS Services, including authentication and authorization;

-The engineer must be located in the US.


Expected start date - ASAP. 


Продуктовый аналитик (Senior)

Удаленно
Full-time

В отдел аналитики крупного банка ищем специалиста, который отлично разбирается в задачах маркетинговой и продуктовой аналитики в мобайле.


Тип аналитика: data engineer/маркетинговый/продуктовый/веб-аналитик

Задачи:

● В первую очередь перед человеком на этой позиции стоит задача объединения данных внутреннего хранилища и системы продуктовой аналитики для формирования сквозной отчетности по ключевым продуктам банка, а также построение маркетинговой отчетности по коммуникациям в мобильном приложении.

● Поддержка текущих и настройка новых интеграций для формирования инфраструктуры маркетинговой и продуктовой аналитики, формирование витрин данных и автоматизированной отчетности для получения сквозных воронок и отчетов по мобильным кампаниям.

● Выработка регламентов/гайдлайнов по разметке маркетинговых коммуникаций в мобайле.

● Разработка подходов к построению отчетов для сквозной отчетности по продуктам банка. Что нужно делать:

● Сформировать витрины внутренних данных для матчинга с данными in-app аналитики и разработать end-to-end отчетность для продуктов банка.

● Провести аудит текущих подходов к разметке ссылок на установку/открытие приложения и разработать регламент/гайдлайн на разметку коммуникаций в мобайле.

● Сформировать подход и организовать ведение актуальной документации по разметке кампаний.

● Выработать подход к формированию набора метрик и методик их расчета для анализа источников трафика в мобильном приложении и сформировать наборы метрик для конкретных продуктов банка. Выработать единый подход к построению отчетов по основным метрикам: наборы метрик, скрипты, макеты отчетов.

● Проработка и внедрение в постоянное использование методов и инструментов сквозной и маркетинговой аналитики (матчинг данных, различные модели атрибуции и пр.)

● Регулярный аудит качества и полноты разметки коммуникаций (наличие и соответствие регламенту), а также матчинга онлайн и офлайн данных.

● Построение отчетов по продуктам банка.


Необходимый опыт:

● Опыт работы в маркетинговой и/или продуктовой аналитике от 3-х лет.

● Знание и практический опыт решения основных задач продуктовой и маркетинговой аналитики. Понимание специфики рекламных инструментов в digital-маркетинге.

● Глубокое понимание принципов и ограничений в сборе и обмене данными в системах мобильной, веб-аналитики, а также рекламных систем.

● Опыт построения сквозной аналитики, ETL-процессов в интернет-маркетинге и продуктовой аналитике.

● Опыт применения best practices по интеграции данных в интернет-маркетинге и умение аргументировать принимаемые решения. Технические навыки

● Опыт работы с одной или несколькими системами: ○ системы аналитики: Appsflyer, myTracker, Firebase, Amplitude, Mixpanel, Google Analytics, Яндекс.Метрика, AppMetrica или аналогами, ○ облачные хранилища: Google Cloud Storage, Yandex.Cloud или аналоги, ○ рекламные системы: Google Marketing Platform, рекламные продукты Яндекса.

● Опыт работы с API систем аналитики и рекламных систем.

● Опыт построения автоматизированной отчетности: от сбора, хранения, подготовки данных до построения отчетов/дашбордов и проведения анализа данных.

● Уверенное владение SQL и опыт работы с базами данных (Oracle, Vertica, Hadoop).

● Знание инструментов для автоматизации сбора, статистической обработки сырых данных (R/Python).