Tantangan menulis hari ke-123

Oleh: Bernardus Ari Kuncoro

Tulisan ini merupakan sambungan dari tulisan sebelumnya terkait "APA ITU SPARK?"

Semakin besar kekuatan komputasi yang digunakan untuk mengolah data kamu, tentu semakin kompleks pembagian tugasnya.

Bayangkan kamu memiliki tugas akhir membuat video. Akan sangat berbeda ketika video tersebut hanya butuh satu atau mesti melibatkan banyak orang. Yang melibatkan banyak orang, pembagian tugasnya menjadi lebih rumit. Sedangkan yang hanya melibatkan satu orang, manajemen pembagian tugasnya menjadi sangat sederhana. Tentunya, hasil video dan waktu keseluruhan pengerjaan yang akan berbicara.

Kembali lagi ke SPARK. Bagaimana cara mengetahui kalau kamu butuh SPARK atau tidak? Coba pertimbangkan dua pertanyaan berikut ini.

1. Apakah data kamu terlalu besar untuk dikerjakan oleh mesin tunggal?

Ibarat kata, kamu ingin memroduksi film kolosal. Jumlah pemainnya harus lebih dari 100 orang, karena ada adegan perang. Kamera yang akan melakukan syut minimal tiga kamera. Bisakah kamu mengerjakannya sendiri? Tentu tidak. Analogi ini kamu bisa pakai.

2. Dapatkah kalkulasinya dengan mudah dibagi-bagi secara paralel?

Kunci dari kata mudah di sini adalah pembagian tugas yang jelas. Bagaimana caranya? Masing-masing node harus tahu tugasnya menangani bagian data yang mana. Melakukan kalkulasi apa. Sedemikian sehingga nanti akan ada yang berperan melakukan agregasi dan pengecekan tugas. Siapa yang berperan? Bisa manusia, bisa juga platform yang diprogram.

Semoga tidak makin bingung. Karena besok masih bersambung.

Kalideres, 1 Desember 2020