logo bigbox
Groundbreaking solutions. data transformation.

Whether your business is early in its journey or well on its way to digital transformation, our solutions and technologies help chart a path to success.

Learn more...

Why Bigbox

Choosing Bigbox
Reasons why companies choose us
About Us
Get closer with us
Events
Read the latest stories and product updates
Locations
Check our locations
Partners
see our partners

ETL (INTEGRATION)

1. ETL (Integration) - (Mampu melakukan penggabungan file (merging file) dan juga pemecahan file (sharding file)

BigAction Mampu melakukan penggabungan file serta pemecahan file dengan processor yang ada sudah tersedia pada BigAction.

2. ETL (Integration) - (Data Virtualization)

Data Virtualization (Memvirtualisasi data RDMS dan juga file):

  • mengintegrasikan data dari sumber yang berbeda tanpa menyalin atau memindahkan data, sehingga memberikan pengguna satu lapisan virtual yang mencakup beberapa aplikasi, format, dan lokasi fisik

3. ETL (Integration) - Scalable and High Performance (perangkat ETL mampu melakukan scaling-out layanan untuk melayani kebutuhan pemrosesan data yang meningkat)

  • NiFi Scaling Out:
    NiFi dirancang untuk scale-out melalui penggunaan clustering banyak node bersama-sama seperti yang dijelaskan di atas. Jika satu node disediakan dan dikonfigurasi untuk menangani ratusan MB per detik, maka cluster sederhana dapat dikonfigurasi untuk menangani GB per detik. Ini kemudian membawa tantangan menarik dari load-balancing dan fail-over antara NiFi dan sistem dari mana ia mendapatkan data. Penggunaan protokol berbasis asynchronous queue seperti layanan pesan, Kafka, dll., dapat membantu. Penggunaan fitur 'site-to-site' NiFi juga sangat efektif karena merupakan protokol yang memungkinkan NiFi dan klien (termasuk cluster NiFi lainnya) untuk berbicara satu sama lain, berbagi informasi tentang pemuatan, dan untuk bertukar data di otoritas tertentu. pelabuhan.
  • NiFi Scaling Up/Down:
    NiFi juga dirancang untuk scale-up and down dengan cara yang sangat fleksibel. Dalam hal peningkatan throughput dari sudut pandang kerangka kerja NiFi, dimungkinkan untuk meningkatkan concurrent tasks pada prosesor di bawah tab Scheduling saat mengonfigurasi. Ini memungkinkan lebih banyak proses untuk dieksekusi secara bersamaan, memberikan throughput yang lebih besar. Di sisi lain spektrum, Anda dapat scale-down NiFi dengan sempurna agar sesuai untuk dijalankan pada perangkat edge di mana footprint kecil diinginkan karena keterbatasan resource hardware.

4. ETL (Integration) - (Mampu melakukan tugas ETL minimal seperti data conversion, lookup, expression, joining records, splitting data, filtering, ranking, sorting dan grouping)

Untuk melakukan Tugas ETL yang efektif, user harus mengetahui tipe-tipe processor BigAction/NiFi yang dibutuhkan. Prosesor ini menyediakan kemampuan untuk ingest data dari berbagai sistem, rute, transformasi, proses, split, dan data agregat, dan mendistribusikan data ke banyak sistem

  • Memungkinkan Anda melakukan data ingestion untuk menarik data ke NiFi, dari berbagai sumber data dan membuat flow file
  • Ini menawarkan real-time control yang membantu Anda mengelola pergerakan data antara sumber & tujuan apa pun
  • Memvisualisasikan DataFlow di tingkat perusahaan
  • Menyediakan tools dan extensions umum
  • Memungkinkan Anda memanfaatkan library yang ada dan fungsionalitas ekosistem Java
  • Membantu organisasi untuk mengintegrasikan Nifi dengan infrastruktur yang ada
  • NiFi dirancang untuk scale-out dalam kelompok yang menawarkan pengiriman data yang terjamin
  • Memvisualisasikan dan monitor performa, perilaku dalam buletin aliran yang menawarkan wawasan dan dokumentasi sebaris
  • Membantu Anda untuk start and stop komponen secara terpisah atau di tingkat grup
  • Ini membantu Anda untuk listen, fetch, split, aggregate, route, transform, dan drag & drop Dataflow

5. ETL (Integration) - (Mendukung Object Reusability pada pengembangan ETL sehingga proses transformasi yang sama dapat digunakan ulang tanpa perlu develop ulang)

  • Dapat reuse (membuat instance) satu komponen sebanyak yang Anda inginkan dalam satu flow (termasuk di dalam dan di luar grup proses).

6. ETL (Integration) - (Memiliki tool untuk melakukan pengembangan modul atau jobs dan resume job ketika terjadi kegagalan)
Komponen dapat dimulai dengan memilih semua komponen untuk memulai dan kemudian mengklik tombol "Mulai" (

) di Operate Palette atau dengan mengklik kanan satu komponen dan memilih Mulai dari menu konteks.
Jika memulai Grup Proses, semua komponen dalam Grup Proses tersebut (termasuk Grup Proses anak) akan dimulai, dengan pengecualian komponen yang tidak valid atau dinonaktifkan.
Setelah dimulai, indikator status Prosesor akan berubah menjadi simbol Putar (

)

7. ETL (Integration) - (Memiliki kemampuan membangun data lineage secara menyeluruh dari awal pengumpulan data hingga tahap agregasi)

  • NiFi menjaga tingkat detail yang sangat terperinci tentang setiap bagian data yang diserapnya. Saat data diproses melalui sistem dan diubah, diarahkan, dibagi, digabungkan, dan didistribusikan ke titik akhir lainnya, semua informasi ini disimpan dalam Repositori Provenance NiFi. Untuk mencari dan melihat informasi ini, kita dapat memilih Sumber Data dari Menu Global. Ini akan memberi kami tabel yang mencantumkan event Provenance yang telah kami cari
  • Di dalam Data Provenance ada fitur Event Details dan Lineage Graph:
    • Event Details: Memiliki 3 tab yaitu Details, Attributes dan Content

  • Details:
    Dapat melihat dengan tepat kapan peristiwa itu terjadi, FlowFile mana yang terpengaruh peristiwa itu, komponen mana (Prosesor, dll.) yang melakukan peristiwa itu, berapa lama peristiwa itu berlangsung, dan waktu keseluruhan data berada di NiFi saat peristiwa itu terjadi (total latensi ).

  • Attributes:
    Dapat melihat semua Atribut yang ada di FlowFile saat peristiwa terjadi, serta nilai sebelumnya untuk Atribut tersebut. Ini memungkinkan kami untuk mengetahui Atribut mana yang berubah sebagai akibat dari peristiwa ini dan bagaimana mereka berubah

  • Content: Tab ini memberi informasi tentang Repositori Konten dan Konten FlowFile disimpan. Jika suatu event merubah konten FlowFile, maka dapat dilihat klaim konten 'sebelum' (input) dan 'setelah' (output). Terdapat juga pilihan untuk Mengunduh konten atau untuk Melihat konten di dalam NiFi itu sendiri, jika format datanya kompatibel dengan NiFi.

  • Lineage Graph: Lineage of FlowFile

8. ETL (Integration) - (Terintegrasi dengan Data Quality)

9. ETL (Integration) - (Codeless, drag n drop pipeline designer)

  • User Interface berbasis web
    • Seamless experience diantaranya design, kontrol, feedback, and monitoring
  • Dapat di konfigurasi
    • Loss tolerant vs delivery terjamin
    • Latensi rendah vs throughput tinggi
    • Prioritization yang dinamis
    • Flow dapat dimodifikasi pada saat runtime
    • Back pressure
  • Data Provenance
    • Lacak aliran data dari awal hingga akhir
  • Dirancang untuk ekstensi
    • Membangun processors anda sendiri and dan banyak lagi
    • Memungkinkang development yang cepat dan testing yang efektif
  • Secure
    • SSL, SSH, HTTPS, encrypted content, etc...
    • Multi-tenant authorization and internal authorization/policy management

10. ETL (Integration) - (Data Security (Masking and Encryption))

  • Enkripsi atau Dekripsi suatu FlowFile antara menggunakan symmetric encryption dengan sebuah raw key atau password dan salt yang di generated dengan acak, atau menggunakan asymmetric encryption yang menggunakan public dan secret key.
  • Memperbarui konten FlowFile dengan mengevaluasi Ekspresi Reguler (regex) terhadapnya dan mengganti bagian konten yang cocok dengan Ekspresi Reguler dengan beberapa nilai alternatif.

11. ETL (Integration)- (Versioning and can be integrated with CI/CD)

12. ETL (Integration) - (Fasilitas Monitoring dan Alerting job-job ETL)

  • Dengan menggunakan layanan Ambari Metrics dan Grafana, Anda memiliki cara untuk memantau kinerja NiFi dengan mudah dan visual. Dan Anda juga dapat menggunakan Apache Ranger untuk memusatkan manajemen otorisasi untuk beberapa komponen (NiFi, Kafka, dll) di satu tempat.
  • ETL Job Alert:
    • Apache NiFi menyediakan beberapa tugas pelaporan untuk mendukung sistem pemantauan eksternal seperti Ambari, Grafana, dll. Pengembang dapat membuat tugas pelaporan khusus atau dapat mengonfigurasi tugas bawaan untuk mengirim metrik NiFi ke sistem pemantauan eksternal.