Tantangan Menulis Hari ke-122

Oleh: Bernardus Ari Kuncoro

BAYANGKAN KAMU DIMINTA ATASAN UNTUK BEKERJA DENGAN DATA YANG SANGAT BESAR. Seberapa besar? Misalkan ukuran datanya 2TB. Sementara laptop kamu tidak bisa menampung data di SSD atau HDD yang kapasitas storage-nya lebih kecil, yaitu 1TB. Apa yang akan kamu lakukan? Beli HDD eksternal? Pinjem laptop temen kamu?

Secara konsep benar bahwa caranya adalah dengan memasukkan dataset tersebut ke dalam sebuah platform yang kapasitas penyimpanannya lebih besar dari 2TB. Platform tersebut tidak hanya sekedar mampu menyimpan, tetapi bisa mengolah data tersebut. Lantas, platform seperti apakah itu? Well, Spark merupakan salah satu jawabannya.

Apa itu Spark? SPARK MERUPAKAN SEBUAH PLATFORM UNTUK MENJALANKAN CLUSTER COMPUTING. Dengan adanya Spark, kamu dapat menyebarkan data dan komputasi ke kluster-kluster yang di dalamnya terdapat sejumlah node. Node bisa kamu artikan sebagai komputer tersendiri. Ibarat sebuah perumahan berkluster, maka rumah-rumah di masing-masing kluster itu merupakan komputer.

Mengapa perlu menyebarkan dataset yang besar ke kluster? Memisah-misahkan data ke kluster akan memudahkan pekerjaan kamu, karena setiap node akan bekerja pada data yang sangat kecil. Mengingat masing-masing node ini memiliki bagian dari data yang disebar tadi, maka akan akan ada kegiatan mengkalkulasikan data yang mesti diselesaikan. Tugas-tugas tadi diproses dan dikomputasi secara paralel di setiap node dalam sebuah kluster. Fakta ini disebut sebagai komputasi paralel.

(BERSAMBUNG)

Kalideres, 30 November 2020