Arsitektur Big data : Pengertian, Tantangan, Cara membuat

Pembahasan lengkap mengenai arsitektur big data dari pengertian, manfaat, cara membuat rancangan arsitektur serta tantangan serta solusinya

Pengertian Big Data Arsitektur

Arsitektur Big data adalah struktur keseluruhan yang merepresentasikan dari logical dan physical sistem dari big data.

artikel ini merupakan bagian dari pembahasan big data secara lengkap di artikel ini Ingin lebih mengenal big data secara lebih lengkap? silahkan membaca artikel ini : big data indonesia

Manfaat / benefit big data architecture

Untuk mendapatkan manfaat dari big data, sangat krusial untuk menginvestasi pada infrastruktur big data yang mampu menangani data yang besar dan banyak. Perusahaan dapat dapat berinvestasi pada solusi infrastruktur dan platform big data Bigbox untuk mendapatkan manfaat big data atau benefit big data seperti

1. Meningkatkan kualitas pemahaman dan analisis dari big data

2. Membuat keputusan yang lebih baik dan juga lebih cepat

3. Mengurangi biaya operasional perusahaan dengan menganalisis big data perusahaan untuk menemukan apa saja yang dapat diperbaiki dan dihemat

4. Memprediksi kebutuhan dan trend pada masa yang akan datang

5. Mendorong perusahaan untuk dapat membuat standar dalam perusahaan

6. Dapat menyediakan metode yang konsisten untuk menerapkan teknologi terbaik untuk menyelesaikan masalah

Tantangan dalam arsitektur big data  / Big Data Architecture Challenges

Dalam membuat big data arsitektur tentu pasti akan menghadapi berbagai tantangan yaitu :

1. Memastikan arsitektur dapat memenuhi kebutuhan perusahaan

2. Memprediksi kebutuhan big data walaupun bertumbuh besar dan bertambah kompleks, arsitektur big data masih dapat menanganinya atau big data arsitektur ini dapat dengan mudah di upgrade / scalable

Jika saat merancang arsitektur big data / big data architecture ini tidak bagus maka dapat menimbulkan biaya yang cukup besar, performa yang tidak stabil atau tidak mencukupi kebutuhan untuk mempelajari lebih lanjut dapat membaca artikel : Permasalahan, Tantangan dan Solusi Big Data.

Big Data Architecture Layers

Lapisan pada arsitektur big data / big data architecture layers ini terdiri dari beberapa lapisan

1. Big Data Source layers / lapisan big data

Big data dapat memproses baik batch processing ataupun real time processing dari sumber-sumber big data seperti data warehouse, relational database, non relasional database, Iot Devices dan dari berbagai sumber lainnya

2. Management & Storage layers / lapisan manajemen dan penyimpanan big data

Lapisan ini menerima data dari big data source layers dan mengkonversi data tersebut menjadi format yang dapat dimengerti dan diolah oleh data analytic tools / alat data analytic dan disimpan sesuai dengan format datanya.

3. Analysis layer /  lapisan analisis

Pada analysis layer, analytic tools melakukan ekstraksi data dari big data storage layer

4. Consumption layer 

Consumption layer menerima hasil analisa dari Big Data Analysis layer dan memberikan analisis tersebut ke business intelligence layer 

 

Big Data Architecture Processes 

1. Menyambungkan koneksi ke Data Sources 

“Connectors” dan “adapters” ini adalah sebuat platform, software atau fitur yang sanggup melakukan koneksi ke berbagai format data apapun dan dapat juga melakukan koneksi ke berbagai variasi storage system, proctol dan juga network. Fitur ini sangat dibutuhkan saat implementasi big data untuk mempermudah pengambilan dan meng load data. Pada platform big data yang tidak memiliki solusi end to end biasanya pekerjaan ini dikerjakan oleh para data engineer.

2. Data governance 

Proses Big Data governance ini bertugas untuk memastikan data yang dipergunakan telah memenuhi data privasi dan keamanan dimulai dari saat pemprosesan, analisis, penyimpanan dan penghapusan data

3. Systems Management

Seluruh proses harus di monitoring secara terus menerus melalui central management consoles 

4. Mempertahankan Quality of service

Big data harus dipertahankan quality of servicesnya dengan cara membuat framework quality of service, dapat dimulai dengan mendefine data qualitynya, compliance policies serta frekuensi dan besarnya data yang akan diolah pada big data.

 

 

Bagaimana membangun big data architecture

Untuk membangun arsitektur big data diperlukan beberapa langkah prosedur yaitu :

1. Menganalisa masalah

Langkah pertama dalam membangun arsitektur big data tentu adalah menganalisa masalah terlebih dahulu ataupun mencari apa masalah ataupun tujuan yang ingin dicapai oleh perusahaan? Hal hal yang biasanya perlu dipertimbangkan yaitu seperti variasi data, kecepatan mengolah data serta masalah yang dihadapi sistem / platform pada saat ini

Use case yang umum yang terjadi pada perusahaan diantaranya 

      • Melakukan data archival
      • Offload processing
      • Implementasi data lake
      • Pemprosesan data unstructured
      • Modernisasi data warehouse saat ini

2. Memilih Vendor

Saat ini banyak sekali di pasaran solusi big data, seperti microsoft, aws, hortonworks dan bigbox, pilih yang sekiranya yang dapat mengatasi permasalahan big data perusahaan.

3. Strategi Deployment

Deployment bisa dilakukan secara on premises, cloud based ataupun mixed, disarankan memilih solusi server yang ada di Indonesia untuk mematuhi data governance Indonesia, anda dapat melihat NeuCentrix solusi cloud yang lokasinya tersebar di indonesia.

4. Capacity Planning

Dalam membangun big data arsitektur tentu perlu mempertimbangkan perencanaan kapasitas bigd data yang akan dibangun, tentukan hardware, infrastructure sizing, jumlah daily data yang akan di proses, jumlah data dengan melihat historical data load pada bulan ataupun tahan sebelumnya, data retention period / jadwal penyimpanan data, multiple data deployment dan sebagainya

5. Infrastructure sizing

Tahap infrastructure sizing ini dilakukan berdasarkan capacity planning, menentukan jumlah cluster dan tipe hardware yang diperlukan, pertimbangkan juga tipe disk, jumlah disk per mesin, tipe processing memory, besaran memori, jumlah CPU dan corenya dan dimana data akan disimpan

6. Pembuatan Rancangan Disaster Recovery

Dalam membuat big data tentu perlu melakukan perencanaan backup dan disaster recovery, pertimbangan dimana data yang sangat penting akan disimpan, backup inverval, multiple datacenter deployment dan memilih metode active-active atau active-passive disaster recovery yang paling tepat untuk perusahaan.

 

Mencari Solusi big data architecure? 

Bigbox menyediakan solusi big data end to end untuk perusahaan anda, lakukan konsultasi dengan kami untuk mengimplementasi big data di perusahaan anda dengan lebih optimal hubungi kami di live chat atau contact us bigbox.

0 Comments

Leave a reply

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *

*

Contact Us
ID : (021) 2708 8011
Outside the ID : +62 21 2708 8011

CONTACT US

We're not around right now. But you can send us an email and we'll get back to you, asap.

Sending

Log in with your credentials

or    

Forgot your details?

Create Account