Mengenal Lebih Dalam Tentang Big Data - IDS Digital College

Mengenal Lebih Dalam Tentang Big Data

Big Data adalah data yang memiliki banyak variasi (variety), volume (volume) yang terus meningkat, dan kecepatan (velocity) yang lebih tinggi. Ketiga hal tersebut disebut dengan Three Vs atau 3 Vs. Menurut definisi lainnya, big data adalah kumpulan data yang lebih besar dan kompleks, terutama dari sumber data baru. Kumpulan data ini sangat banyak sehingga perangkat lunak pengolah data tradisional tidak dapat mengelolanya. Tetapi volume data yang sangat besar ini dapat digunakan untuk mengatasi masalah yang tidak dapat Anda atasi sebelumnya. Yuk mengenal lebih dalam tentang Big Data!

Three Vs dalam Big Data

  1. Volume. Jumlah data itu penting. Dengan data besar, Kita harus memproses volume tinggi dari data tidak terstruktur dengan kepadatan rendah. Ini bisa berupa data dengan nilai yang tidak diketahui, seperti feed data Twitter, clickstreams/aliran klik di halaman web atau aplikasi seluler, atau peralatan yang mengaktifkan sensor. Untuk beberapa organisasi, dapat mencapai puluhan terabyte data hingga ratusan petabyte.
  2. Velocity. Velocity adalah tingkat kecepatan di mana data diterima dan (mungkin) ditindaklanjuti. Biasanya, aliran data dengan kecepatan tertinggi dapat langsung menuju ke memori daripada yang ditulis ke disk. Beberapa produk ‘smart’ yang internet enabled, beroperasi dalam waktu nyata atau mendekati waktu nyata dan akan membutuhkan evaluasi dan tindakan waktu nyata (real time).
  3. Variety. Variety mengacu pada banyak jenis data yang tersedia. Data tradisional itu memiliki tipe yang terstruktur dan fit dalam database relasional. Dengan munculnya big data, data datang dalam tipe data baru yang tidak terstruktur. Tipe data tidak terstruktur dan semi terstruktur, seperti teks, audio, dan video, memerlukan pemrosesan awal tambahan untuk mendapatkan makna dan mendukung metadata.

Big data

Nilai dan Kebenaran dari Big Data

Dalam beberapa tahun terakhir telah muncul Two Vs atau 2 Vs, yakni Value/Nilai dan Veracity/kebenaran. Data memiliki nilai intrinsik, tapi tidak ada gunanya sampai nilai itu ditemukan. Yang paling penting adalah kebenaran data dan seberapa banyak Kita dapat mengandalkan nilainya. Saat ini, big data sudah menjadi modal. Beberapa perusahaan teknologi terbesar di dunia menawarkan value yang berasal dari data mereka, yang terus mereka analisis untuk menghasilkan lebih banyak efisiensi dan mengembangkan produk baru. 

Terobosan teknologi terbaru telah secara eksponensial mengurangi biaya penyimpanan dan komputasi data, sehingga peningkatan volume big data lebih mudah diakses dan lebih murah dalam menyimpan lebih banyak data, sehingga Anda dapat membuat keputusan bisnis yang lebih akurat dan tepat. Menemukan nilai dalam big data bukan hanya tentang menganalisisnya (yang merupakan manfaat lain secara keseluruhan). Namun, merupakan seluruh proses penemuan yang membutuhkan analis, pengguna bisnis, dan eksekutif yang berwawasan luas, dapat mengajukan pertanyaan yang tepat, mengenal pola, membuat asumsi berdasarkan informasi, dan memprediksi perilaku.

Sejarah Big Data

  • Konsep big data sendiri relatif baru, tetapi asal-usul kumpulan data besar kembali ke tahun 1960-an dan 70-an ketika dunia data baru saja dimulai dengan pusat data pertama dan pengembangan database relasional.
  • Sekitar tahun 2005, orang mulai menyadari betapa banyak data yang dihasilkan pengguna melalui Facebook, YouTube, dan layanan online lainnya. Hadoop (framework / kerangka kerja open-source yang dibuat khusus untuk menyimpan dan menganalisis kumpulan big data) dikembangkan pada tahun yang sama. NoSQL juga mulai mendapatkan popularitas selama ini.
  • Pengembangan framework open-source, seperti Hadoop dan Spark yang baru-baru ini muncul, sangat penting untuk pertumbuhan big data karena membuat big data lebih mudah untuk dikerjakan dan lebih murah untuk disimpan. Pada tahun-tahun sejak itu, volume data besar telah meroket, pengguna masih menghasilkan data dalam jumlah besar.
  • Dengan munculnya Internet of Things (IoT), semakin banyak objek dan perangkat yang terhubung ke internet, mengumpulkan data tentang pola penggunaan pelanggan dan performa produk. Munculnya machine learning telah menghasilkan lebih banyak data.
  • Big Data telah berkembang jauh, tetapi kegunaannya baru saja dimulai. Komputasi Cloud telah memperluas kemungkinan big data lebih jauh dengan menawarkan skalabilitas yang benar-benar elastis, di mana pengembang dapat dengan mudah menjalankan cluster ad hoc untuk menguji subset data. Database grafik juga menjadi semakin penting untuk menampilkan data dalam jumlah besar dengan cara yang membuat analitik menjadi cepat dan komprehensif.

Manfaat Big Data

  • Data besar memungkinkan Anda mendapatkan jawaban yang lebih lengkap memiliki lebih banyak informasi.
  • Jawaban yang lebih lengkap berarti lebih percaya diri pada data—yang berarti pendekatannya berbeda dalam mengatasi masalah.

Big Data Use Cases

Big data dapat membantu Anda menangani berbagai aktivitas bisnis, mulai dari pengalaman pelanggan hingga analitik. Ini hanya beberapa.

  1. Pengembangan Produk. Perusahaan seperti Netflix dan Procter & Gamble menggunakan big data untuk mengantisipasi permintaan pelanggan. Mereka membangun model prediktif untuk produk dan layanan baru dengan mengklasifikasikan atribut kunci dari produk atau layanan sebelumnya dan saat ini dan memodelkan hubungan atribut dan keberhasilan komersial dari penawaran. Selain itu, P&G menggunakan data dan analitik dari focus groups, media sosial, pasar uji, dan peluncuran toko awal untuk merencanakan, memproduksi, dan meluncurkan produk baru.
  2. Pemeliharaan Prediktif. Faktor-faktor yang dapat memprediksi indikasi kerusakan mekanis yang mungkin terkubur dalam data terstruktur, seperti tahun, merek, dan model peralatan, serta data tidak terstruktur yang mencakup jutaan entri log, data sensor, error message, dan suhu mesin. Dengan ini, organisasi dapat menerapkan pemeliharaan dengan biaya yang lebih efektif dan memaksimalkan waktu kerja suku cadang dan peralatan.
  3. Pengalaman Pelanggan. Big data memungkinkan Anda untuk mengumpulkan data dari media sosial, kunjungan web, log panggilan, dan sumber lain untuk meningkatkan pengalaman interaksi dan memaksimalkan value yang disampaikan. Untuk menawarkan experience yang baik kamu bisa mulai memberikan penawaran yang dipersonalisasi, kurangi churn pelanggan, dan tangani masalah secara proaktif. 
  4. Penipuan dan Kepatuhan. Lanskap keamanan dan persyaratan kepatuhan terus berkembang dalam menghadapi peretasan. Big data membantu Anda mengidentifikasi pola dalam data yang mengindikasikan penipuan dan mengumpulkan informasi dalam jumlah besar untuk membuat laporan regulasi jauh lebih cepat.
  5. Machine Learning. Sekarang Kita dapat mengajar mesin alih-alih memprogramnya. Ketersediaan big data untuk melatih model pembelajaran mesin memungkinkan hal itu.
  6. Efisiensi Operasional. Dengan efisiensi operasional, big data dapat berdampak sangat besar. Anda dapat menganalisis dan menilai produksi, feedback, pengembalian pelanggan, serta mengurangi gangguan dan mengantisipasi permintaan di masa mendatang. Big data juga dapat digunakan untuk meningkatkan pengambilan keputusan sejalan dengan permintaan pasar saat ini.
  7. Dorongan Inovasi. Anda dapat berinovasi dengan mempelajari ketergantungan di antara manusia, institusi, entitas, dan proses, lalu menentukan cara baru untuk menggunakan wawasan data tersebut. Seperti meningkatkan keputusan tentang pertimbangan keuangan dan perencanaan, memeriksa tren dan apa yang diinginkan pelanggan untuk memberikan produk dan layanan baru, serta menerapkan harga dinamis. 

Tantangan data besar

Big data menjanjikan banyak hal dengan segala tantangan di dalamnya. Tentunya karena big data itu adalah sesuatu yang sangat besar. Teknologi penyimpanan data terus berkembang, tetapi volume data meningkat dua kali lipat setiap dua tahunnya. Cara untuk mengimbangi data mereka dan menyimpannya secara efektif terus dicari dan dianalisis sampai sekarang. Selain meneliti penyimpanannya, ilmuwan juga memikirkan bagaimana data harus tetap valuable, tergantung pada kurasi, bersih, relevan dengan klien, dan teratur. Big data pun telah mengalami perubahan yang sangat cepat, besar, dan berkelanjutan. Seperti kemunculan Apache Hadoop pada beberapa tahun lalu sebagai teknologi yang menangani big data, yang disusul Apache Spark pada tahun 2014. Saat ini, kombinasi dari kedua framework tersebut tampaknya merupakan pendekatan terbaik. 

Big data

Bagaimana Cara Kerja Big Data

Big data memberi wawasan baru yang membuka peluang dan model bisnis baru dengan 3 action, diantaranya:

  • Integrasi

Big data menyatukan data dari banyak sumber dan aplikasi yang berbeda. Mekanisme integrasi data tradisional, seperti mengekstrak, mengubah, dan memuat (ETL) biasanya tidak sesuai dengan tugas. Dibutuhkan strategi dan teknologi baru untuk menganalisis kumpulan big data pada skala terabyte bahkan petabyte. Selama integrasi, Anda perlu memasukkan data, memproses, serta memastikannya diformat dan tersedia dalam bentuk yang dapat digunakan oleh analis bisnis.

  • Kelola

Big data membutuhkan penyimpanan. Anda dapat menyimpan data dalam bentuk apapun dengan requirement/permintaan processing yang diinginkan dan proses mesin ke kumpulan data berdasarkan itu. Cloud semakin populer karena mendukung persyaratan komputasi saat ini dan memungkinkan Anda untuk meningkatkan sumber daya sesuai kebutuhan.

  • Analisis

Investasi dalam big data terbayar saat menganalisis dan menindaklanjuti data agar terus berfungsi. Data menjadi lebih jelas dengan analisis visual dari variasi kumpulan data. Jelajahi data lebih jauh untuk membuat penemuan baru, bagikan temuan tersebut, dan bangun model data dengan machine learning dan AI. 

Praktik Penggunaan Big Data

Berikut ini panduan untuk membangun fondasi big data yang sukses:

  1. Menyelaraskan big data dengan tujuan bisnis tertentu 

Kumpulan data yang lebih luas memungkinkan penemuan baru, maka penting untuk mendasarkan investasi pada keterampilan, organisasi, atau infrastruktur dengan konteks berbasis dukungan bisnis dan IT yang kuat untuk menjamin investasi dan pendanaan proyek yang berkelanjutan. Contohnya termasuk memahami cara memfilter log web untuk memahami perilaku e-commerce, mendapatkan sentimen dari media sosial dan interaksi dukungan pelanggan, serta memahami metode korelasi statistik dan relevansinya untuk data pelanggan, produk, manufaktur, dan teknik.

  1. Meringankan kekurangan skill dengan standar dan tata kelola 

Anda dapat mengurangi risiko kekurangan skill pada big data ini dengan memastikan bahwa teknologi, pertimbangan, dan keputusan big data ditambahkan ke program tata kelola IT. Standarisasi pendekatan dipermudah dengan mengelola biaya dan memanfaatkan sumber daya. Organisasi yang menerapkan solusi dan strategi big data harus menilai skill requirement lebih awal, secara sering dan proaktif untuk mengidentifikasi potensi kesenjangan keterampilan. Contohnya dengan melatih/melatih silang sumber daya yang ada, mempekerjakan sumber daya baru, dan memanfaatkan perusahaan konsultan.

  1. Mengoptimalkan transfer pengetahuan dengan pusat keunggulan 

Gunakan pendekatan pusat keunggulan untuk berbagi pengetahuan, mengontrol pengawasan, mengelola komunikasi proyek, menentukan investasi baru atau berkembang, dan memastikan pembagian soft cost dan hard cost di seluruh perusahaan. Memanfaatkan pendekatan ini dapat membantu meningkatkan kemampuan big data dan kematangan arsitektur informasi secara keseluruhan dengan cara yang lebih terstruktur dan sistematis.

  1. Menyelaraskan data tidak terstruktur dengan data terstruktur

Anda dapat menghadirkan wawasan bisnis yang lebih besar dengan menghubungkan dan mengintegrasikan big data berkepadatan rendah dengan data terstruktur yang sudah Anda gunakan saat ini. Mulai dari big data sentimen pelanggan, produk, peralatan, hingga lingkungan,untuk menambahkan poin data yang lebih relevan ke core master dan ringkasan analitik yang menghasilkan kesimpulan yang lebih baik. Maka dari itu, big data bisa disebut sebagai perpanjangan integral dari kemampuan intelijen bisnis, platform pergudangan data, dan arsitektur informasi yang ada. Proses dan model analitik big data dapat berbasis manusia dan mesin. Kemampuan analitik data besar mencakup statistik, analisis spasial, semantik, penemuan interaktif, dan visualisasi. 

  1. Rencanakan kinerja lab penemuan Anda

Manajemen dan IT perlu mendukung solusi dari kurangnya arah atau kurangnya requirement yang jelas. Analis dan ilmuwan data perlu bekerja sama dengan bisnis guna memahami kesenjangan dan requirement utama wawasan bisnis. Diperlukan area kerja berkinerja tinggi untuk mengakomodasi eksplorasi data yang interaktif dan eksperimentasi algoritma statistik. Pastikan lingkungan sandbox memiliki dukungan yang diperlukan dan teratur.

  1. Selaras dengan model operasi cloud 

Proses big data dan pengguna memerlukan akses ke beragam sumber daya untuk eksperimen berulang/iterative dan menjalankan tugas produksi yang sesuai permintaan. Solusi big data mencakup semua ranah data termasuk transaksi, master data, data referensi, dan data ringkasan. Manajemen sumber daya sangat penting untuk memastikan kontrol seluruh aliran data termasuk sebelum dan sesudah pemrosesan, integrasi, peringkasan berbasis data, dan pemodelan analitis. Penyediaan cloud pribadi dan publik yang terencana dengan baik dan strategi keamanan memainkan peran integral dalam mendukung tiap perubahan requirement.

Sumber: Tentang Big Data

Posted in: News



    WhatsApp chat