Deskripsi Pekerjaan
Sebagai Operator Pengumpul Data (Scraper Operator) di DataTech Solutions, Anda akan bertanggung jawab untuk mengumpulkan dan memproses data dari berbagai sumber web secara otomatis. Anda akan bekerja dalam tim data ekspert yang berkomitmen untuk menghasilkan informasi yang akurat dan terstruktur untuk berbagai aplikasi bisnis.
Di sini, Anda akan mengembangkan dan mengelola skrip web scraping yang efisien, memastikan data yang dikumpulkan terkini, akurat, dan dapat digunakan untuk analisis mendalam. Anda akan bekerja dengan berbagai teknologi termasuk Python, API, dan database untuk memenuhi kebutuhan data dari proyek-proyek terkini.
Anda akan bekerja secara independen dan dalam tim, berkolaborasi dengan analis data dan tim pengembang untuk mengoptimalkan proses pengumpulan data dan meningkatkan kualitas informasi yang dihasilkan.
Tanggung Jawab
- Mengembangkan dan mengelola skrip web scraping menggunakan bahasa pemrograman seperti Python
- Menyediakan data yang terkini dan akurat dari berbagai sumber web
- Melakukan pemeliharaan dan pemutakhiran pada sistem scraping untuk memastikan kinerja optimal
- Analisis kualitas data dan mengidentifikasi masalah pada proses pengumpulan
- Integrasi data ke dalam sistem database atau API yang telah ditentukan
- Membuat dokumentasi yang rinci tentang proses scraping dan hasilnya
- Optimalkan skrip dan algoritma untuk meningkatkan efisiensi dan kecepatan
Kualifikasi
- Paling sedikit 1-2 tahun pengalaman dalam web scraping dan pengumpulan data
- Pemahaman teknis tentang HTML, CSS, dan struktur data web
- Pengetahuan yang kuat tentang bahasa pemrograman Python dan library seperti BeautifulSoup, Scrapy, atau Requests
- Keahlian dalam penggunaan database dan API untuk integrasi data
- Keahlian dalam analisis data dan identifikasi masalah pada proses pengumpulan
- Kemampuan bekerja secara independen dan dalam tim
- Kemampuan menyelesaikan masalah teknis dan mengembangkan solusi yang efisien
- Pengalaman bekerja dengan berbagai platform web dan teknologi