Актуальные заказы по Spark

Senior Разработчик Spark | Scala

Во флагманский проект компании необходим Spark специалист со знанием Scala и С# (будет плюсом), уровень Lead/Senior.


Проект: информационно-аналитическая система, позволяющая автоматизировать решение сложных экспертных задач в сфере корпоративной безопасности. Она позволяет:

- объединить данные из внутри корпоративных систем и внешних источников;

- получить достоверные сведения о физических и юридических лицах;

- выявить и оценить риски взаимодействия с ними на ранней стадии с использованием гибкой скоринговой модели;

- выполнить поиск связей в исходных данных и построить граф связей с любым количеством объектов;

- сформировать отчетные документы.


Задача:

Помощь с модулем графовой аналитики (ищет связи между сущностями - физическими и юридическими лицами).


Этапы:

1) Собеседование с техническим директором проекта.

2) Собеседование с руководящим составом (со стороны бизнеса).

Data Engineer with Informatica

Удаленно
Full-time

Project: IT service provider for the life science and healthcare industry.


Requirements:

  • Proficiency in administering Informatica PowerCenter or Informatica Cloud, including installation, configuration, and maintenance of the Informatica environment.
  • Knowledge of securing the Informatica environment, including user access management, authentication methods, and data encryption.
  • Proficiency in monitoring Informatica resources, managing server logs, and performing routine maintenance tasks to ensure smooth operations.
  • Experience with scripting languages (e.g. Python or Bash) and automation tools to automate administrative tasks and improve efficiency.
  • Experience in optimizing Informatica workflows, sessions, and mappings for better performance and efficiency.
  • Ability to diagnose and resolve issues related to Informatica workflows, data integration, connectivity, and performance.
  • Ability to handle change requests, coordinate deployments.
  • Knowledge of data quality management, including profiling, cleansing, standardization, and validation techniques.


Nice to have:

  • Familiarity with database concepts and SQL queries.
  • Experience with ETL processes and tools, including the ability to design and implement efficient data workflows.
  • Understanding of Informatica Cloud IDMC integration process with other applications and systems using APIs.
  • Knowledge of data warehousing concepts, such as data modeling, dimensional modeling, and star schemas.
  • Familiarity with big data technologies, such as Hadoop, Spark, and NoSQL databases.
  • Understanding DevOps methodologies and tools can help in managing and deploying Informatica Cloud IDMC pipelines and processes more efficiently.