Deskripsi Pekerjaan
DataInnovate Indonesia mencari Big Data Engineer berbakat untuk membangun ekosistem data skala enterprise. Bergabunglah dengan tim kami untuk mengubah data kompleks menjadi wawasan strategis yang menggerakkan bisnis.
Tentang Kami: Perusahaan teknologi terdepan yang mengembangkan solusi AI dan analitik untuk klien Fortune 500 di Asia Tenggara. Tim kami terdiri dari data scientist dan engineer berpengalaman dari Google, Netflix, dan Amazon.
Tanggung Jawab
- Merancang dan mengimplementasikan pipeline data menggunakan Apache Spark dan Hadoop
- Mengelola data lakes di cloud platform (AWS/GCP) dengan best practice
- Optimasi kinerja query untuk dataset terstruktur dan tidak terstruktur
- Mengembangkan solusi real-time streaming dengan Apache Kafka
- Melakukan data quality monitoring dan governance framework
- Kolaborasi dengan data scientist untuk membangun model machine learning
- Dokumentasi teknis dan arsitektur data pipeline
Kualifikasi
- S1 Teknik Informatika/Ilmu Komputer atau bidang terkait (min. 3 tahun pengalaman)
- Pemahaman mendalam SQL, Python, dan Java/Scala
- Pengalaman dengan ETL tools (Airflow, NiFi, Talend)
- Keahlian dalam distributed computing (Spark, Hadoop, Flink)
- Certifikasi cloud (AWS/GCP/Azure) Data Engineer
- Memahami data modeling (dimensional modeling, star schema)
- Pengalaman dengan NoSQL databases (MongoDB, Cassandra)