Разработчик Hadoop/Spark проектирует, разрабатывает и внедряет приложения для работы с большими данными с использованием фреймворков Apache Hadoop и Spark. Они занимаются обработкой и анализом огромных массивов данных, обеспечивая их оптимальную производительность, надежность и масштабируемость. Они разрабатывают алгоритмы обработки данных, создают модели данных и выполняют операции ETL. Они работают над распределением, безопасностью и хранением данных, часто создавая кластеры Hadoop. Они также выполняют отладку, мониторинг и настройку производительности. Разработчик следит за качеством кода и часто сотрудничает с учеными, изучающими данные, и архитекторами, чтобы понять потребности в данных и создать системы, отвечающие этим требованиям. Они также постоянно следят за новыми технологиями и достижениями.