logo bigbox
Groundbreaking solutions. data transformation.

Whether your business is early in its journey or well on its way to digital transformation, our solutions and technologies help chart a path to success.

Learn more...

Why Bigbox

Choosing Bigbox
Reasons why companies choose us
About Us
Get closer with us
Events
Read the latest stories and product updates
Locations
Check our locations
Partners
see our partners

DATA CURATION

1. Data Curation - (Database content profiling)

Tersedia visualisasi (dashboard) yang berisi profil dan statistik dari jumlah table, baris, primary key, statistik deskriptif dari data-data nya, korelasi antar tabel, dan berbagai informasi lain yang bersifat metadata maupun glosarium.

2. Data Curation - (Cleansing, validating, standardizing)

Proses data curation terjadi pada 2 tahap:

  • Saat integrasi data dan akuisisi data. Tool yang digunakan adalah BigAction, yang sudah memiliki operator standar untuk melakukan cleansi, validating standard. Adapun mekanisme kurasi yang disesuaikan dengan aturan bisnis, belum tersedia, tapi dapat dibangun dan dikembangkan.
  • Saat pengolahan dan pemrosesan data di datalake (BigLake), maka selain menggunakan kurasi standar seperti di BigAction, juga dapat dilakukan kurasi dengan rule engine berbasis workflow maupun machine learning.

3. Data Curation - (Matching, Linking and Merging)

Sama dengan no 42, proses data curation untuk Matching, Linking and Merging terjadi pada 2 tahap:

  • Saat integrasi data dan akuisisi data. Tool yang digunakan adalah BigAction, yang sudah memiliki operator standar untuk melakukan cleansi, validating standard. Seperti MergeContent processor yang tersedia dalam pembuatan dataflow. Juga tersedia processor lain yang memiliki fungsi yang berbeda-beda.
  • Adapun mekanisme kurasi yang disesuaikan dengan aturan bisnis, belum tersedia, tapi dapat dibangun dan dikembangkan.
  • Saat pengolahan dan pemroses data di datalake (BigLake), maka selain menggunakan kurasi standar seperti di BigAction, juga dapat dilakukan kurasi dengan rule engine berbasis workflow maupun machine learning.

4. Data Curation - (Data Quality Rule Engine)

Data Quality Rule Engine (DQRE) dapat dibangun berbasis engine Spark (batch) maupun Spark Streaming (micro-batch/stream) yang memungkinkan proses data kurasi dilakukan secara on-read maupun on-write. DQRE tersebut dapat diintegrasikan dalam dataflow oleh BigAction, sehingga menjadi processor yang dapat dimanfaatkan untuk setiap dataflow dan data pipeline.

5. Data Curation - (Interactive Data Quality Visualization/Analytics)

Visualisasi terhadap semua proses Data Quality secara statistik akan tersedia pada dashboard BigOne. Dan bila dibutuhkan visualisasi yang lebih atraktif, dinamis dan customize, maka dapat dikembangkan dengan menggunakan BigQuery atau BigBuilder.

6. Data Curation - (Data quality process management (collaborative))

Saat pengolahan dan pemroses data di datalake (BigLake), maka selain menggunakan kurasi standar seperti di BigAction, juga dapat dilakukan kurasi dengan rule engine berbasis workflow maupun machine learning. Data Quality Rule Engine yang berbasis workflow, akan bersifat kolaboratif.

7. Data Curation (MDM) - (Entity Resolution (MDM))

Belum tersedia sebagai sebuah fitur. Tapi dapat dikembangkan sebagai sebuah usecase.

8. Data Curation (MDM) - (Hierarchy management (MDM))

Belum tersedia sebagai sebuah fitur. Tapi dapat dikembangkan sebagai sebuah usecase.

9. Data Curation (MDM) - (Golden Record (MDM))

Belum tersedia sebagai sebuah fitur. Tapi dapat dikembangkan sebagai sebuah usecase.

10. Data Curation (MDM) - (Machine Learning Support to automate process (MDM))

Tersedia sebagai sebuah platform, untuk dikembangkan sebagai sebuah usecase.