logo bigbox
Groundbreaking solutions. data transformation.

Whether your business is early in its journey or well on its way to digital transformation, our solutions and technologies help chart a path to success.

Learn more...

Why Bigbox

Choosing Bigbox
Reasons why companies choose us
About Us
Get closer with us
Events
Read the latest stories and product updates
Locations
Check our locations
Partners
see our partners

DATA INGESTION

1. Data Ingestion (Mendukung penarikan/ingestion dari berbagai sumber data)

Untuk akses data, BigAction mendukung konektivitas melalui JDBC API dan penggunaan sintaks query SQL. Dengan JDBC dan SQL, tidak perlu menulis aplikasi terpisah atau menggunakan sintaks query yang berbeda untuk mengakses sistem basis data yang berbeda (Oracle, Salesforce, Teradata, PostgreSQL, Tibero misalnya). Selain itu juga BigAction memiliki library connectivity ke data base No SQL seperti HDFS connectivity, MongoDB, Cassandra, HBase, Redis, dan lain-lain. Serta kapabilitas untuk membaca dan mengekstraksi data unstructured dari file document (csv, xls, doc, ptt, dll), file pdf, file image, bahkan video dan voice.

2. Data Ingestion - (Mampu mengambil data dari internal dan eksternal DJP melalui protokol komunikasi HTTP, HTTPS, API, dan SFTP)

BigAction memiliki library yang mendukung berbagai protokol komunikasi seperti HTTP, HTTPS, API dan SFTP. Berikut beberapa contohnya:

  • GetHTTP:
    Ini adalah operator untuk mengambil data dari URL HTTP atau HTTPS dan menulis data ke konten FlowFile. Setelah konten diambil dari URL yang diberikan, konten tidak akan diambil lagi sampai konten di remote server (data source) berubah.
  • InvokeHTTP:
    Prosesor HTTP client yang dapat berinteraksi dengan dikonfigurasi HTTP Endpoint. URL tujuan dan Metode HTTP dapat dikonfigurasi. Atribut FlowFile dikonversi ke header HTTP dan konten FlowFile disertakan sebagai badan permintaan (jika Metode HTTP adalah PUT, POST atau PATCH).

3. Data Ingestion - (Bulk/Batch Data Movement)

Untuk melakukan Data Ingestion, BigAction mendukung melakukan data Ingestion/data Movement secara Bulk/Batch Ingestion dengan processor yang sudah tersedia.

4. Data Ingestion - (Stream Data Integration, including from Change Data Capture to Big Data with upsert support)

Contoh operator change data capture: CaptureChangeMySQL dan CDC with Apache NiFi (Stream Data Integration, including from Change Data Capture to Big Data with upsert support)

  • CaptureChangeMySQL:
    Mengambil event Change Data Capture (CDC) dari database MySQL. CDC Events meliputi INSERT, UPDATE, DELETE operasi. Events adalah keluaran sebagai file aliran individu yang diurutkan berdasarkan waktu saat operasi terjadi.
  • CDC with Apache NiFi:
    Proses penggunaan prosesor CaptureChangeMySQL, EnforceOrder, dan PutDatabaseRecord di Apache NiFi untuk mereplikasi database menggunakan MySQL event logs