logo bigbox
Groundbreaking solutions. data transformation.

Whether your business is early in its journey or well on its way to digital transformation, our solutions and technologies help chart a path to success.

Learn more...

Why Bigbox

Choosing Bigbox
Reasons why companies choose us
About Us
Get closer with us
Events
Read the latest stories and product updates
Locations
Check our locations
Partners
see our partners

DATA MANAGEMENT

1. Data Management - (Mengumpulkan metadata dari berbagai tipe sumber data, ETL atau metadata repository lain)

BigOne melakukan akuisisi technical maupun business metadata yang luas (misalnya, skema, tabel, prosedur, attribut) yang ditentukan selama pembuatan koneksi ke data sources. Dan melalui REST API BigAction dapat digunakan untuk melakukan metadata exchange dengan tools seperti Apache Atlas dan Cloudera Navigator. Data source yang dapat diakuisisi metadata nya meliputi semua jenis RDBMS, No SQL database hingga file document.

2. Data Management - (Distributed metadata harvesting server)

Dengan menggunakan BigAction agent, data dan metadata collection dapat didistribusikan pada posisi data source atau edge client. Tujuan khusus dari adanya BigAction agent adalah:

  • small and lightweight footprint

  • central management of agents

  • generation of data provenance

  • integration with BigAction for follow-on data flow management

    Perspektif peran BigAction Agent ini adalah perspektif agen yang bertindak langsung di posisi/lokasi sumber data, sensor sumber, sistem, atau server.

3. Data Management - (Manajemen data tipe Semantic)

Pengelolaan semantic, data dictionary, glossary dan lain-lain, akan menggunakan metode taxonomy dan tagging pada BigOne framework

4. Data Management - (Manajemen data glossary)

Pengelolaan semantic, data dictionary, glossary dan lain-lain, akan menggunakan metode taxonomy dan tagging pada BigOne framework

5. Data Management - (Auto tagging with semantic type, profiling and data sampling)

User dapat memberi tag pada field-field, profile data dan data sample akan menggunakan metode taxonomy dan tagging pada BigOne framework.

6. Data Management - (Masking data sensitif di dalam tampilan sampel data.)

Proses masking bisa terjadi pd saat on-read via API BigEnvelope, sehingga masking terjadi level api. Bisa juga on-write melalui processor masking di BigAction

7. Data Management - (Workflow / Role-Based Usability (Data stewards, business analyst, line of business manager))

Data Stewardship dengan BigOne konsepnya adalah untuk mengumpulkan, membuat, dan menggunakan metadata. Dengan menambahkan technical metadata yang dihasilkan dengan menggunakan organization's business vocabulary, user dapat menambahkan metadata ke entitas menggunakan label, klasifikasi, atribut, and glosarium. Glosarium memungkinkan Anda untuk mengidentifikasi sinonim sehingga kosakata dari tim yang berbeda tidak menghalangi mengidentifikasi data yang sama. User dapat merencanakan secara keseluruhan untuk jenis metadata apa yang akan diterapkan, rancang beberapa konvensi tentang cara menerapkannya dan siapa yang dapat menerapkannya. Rancang beberapa proses untuk mengawasi metadata yang dikumpulkan.

8. Data Management - (Stewardship management)

BigOne memiliki workflow management untuk manajemen pengelolaan data, metadata dan pembentukan data, yang akan melibatkan banyak fungsi, PIC dan role. Proses Assignment user sebagai yang berfungsi sebagai Data Steward (admin/pengelola data), maupun fungsi-fungsi lain dapat dilakukan dengan mudah.

9. Data Management - (Lineage tracing)

Proses lineage tracing dilakukan dalam 2 kategori:

  • Pertama, saat integrasi dengan data source, penarikan data hingga penyimpanan di datalake. Pada tahap ini, proses lineage tracing disediakan oleh modul BigAction.
  • Tersedia representasi grafis dari lineage atau path yang diambil FlowFile dalam dataflow.
  • Kedua, saat pemrosesan data hingga terbentuk data mart. Pada tahap ini proses lineage tracing disediakan oleh Modul BigOne. Tersedia representasi grafis dari lineage dalam data action.

10. Data Management - (Proses penyiapan metadata dan katalogingnya bersifat kolaboratif)

Proses penyiapan metadata dan katalogingnya bersifat kolaboratif. Untuk setiap technical metadata yang di-collect dari semua data source, maka pembentukan organization's business vocabulary dapat dilakukan secara kolaboratif berbasis workflow.

11. Data Management - (Data catalog bisa dikonsumsi via REST API)

Data Catalog, berikut technical dan business metadata, serta berbagai organization's business vocabulary dalam dicari melalui search engine BigSearch. Dan untuk proses pencarian yang sudah bersifat baku, dalam di-ekspose menjadi REST API oleh BigEnvelope.

12. Data Management - (Data marketplace (explore and share))

  • Pencarian, akses dan share data set di suatu portal (semacam marketplace) data.
  • Pencarian dapat dilakukan di BigOne dan Portal BigBox. Adapun share dataset, dapat disediakan di suatu portal atau portal yang disediakan oleh BigBox.

13. Data Management - (Access control with integration with Active Directory)

  • LDAP with Kerberos
    • LDAP dan Kerberos bersama-sama membuat kombinasi yang hebat. Kerberos digunakan untuk mengelola kredensial dengan aman (otentikasi) sementara LDAP digunakan untuk menyimpan informasi otoritatif tentang akun, seperti apa yang boleh mereka akses (otorisasi), nama lengkap pengguna, dan uid. Anda juga dapat menambahkan hal-hal bermanfaat seperti alamat email eksternal atau yang lainnya secara terstruktur.
    • Sebagian besar penyiapan LDAP lainnya melibatkan penyimpanan sandi di direktori LDAP itu sendiri menggunakan atribut userPassword.