logo bigbox
Groundbreaking solutions. data transformation.

Whether your business is early in its journey or well on its way to digital transformation, our solutions and technologies help chart a path to success.

Learn more...

Why Bigbox

Choosing Bigbox
Reasons why companies choose us
About Us
Get closer with us
Events
Read the latest stories and product updates
Locations
Check our locations
Partners
see our partners

DATA OPERATION

1. Data Operation - (Workload Management)

  • Apache YARN Ide dasar YARN adalah untuk membagi fungsionalitas resource management dan job scheduling/monitoring menjadi daemon yang terpisah. Idenya adalah untuk memiliki ResourceManager (RM) global dan ApplicationMaster (AM) per aplikasi. Aplikasi adalah single job atau DAG dari beberapa job

2. Data Operation - (Monitoring and Alerting)

  • Apache Ambari ditujukan untuk membuat manajemen Hadoop lebih sederhana dengan mengembangkan perangkat lunak untuk menyediakan, mengelola, dan memantau cluster Apache Hadoop. Ambari menyediakan UI web manajemen Hadoop yang intuitif dan mudah digunakan yang didukung oleh RESTful API-nya.
  • Ambari memungkinkan Administrator Sistem untuk:
    • Penyediaan Hadoop Cluster
    • Ambari menyediakan panduan langkah demi langkah untuk menginstal layanan Hadoop di sejumlah host.
    • Ambari menangani konfigurasi layanan Hadoop untuk cluster.
    • Mengelola Hadoop Cluster
    • Ambari menyediakan manajemen pusat untuk memulai, menghentikan, dan mengkonfigurasi ulang layanan Hadoop di seluruh cluster.
    • Memonitor cluster Hadoop
    • Ambari menyediakan dashboard untuk memantau kesehatan dan status cluster Hadoop.
    • Ambari memanfaatkan Sistem Metrik Ambari untuk pengumpulan metrik.
    • Ambari memanfaatkan Ambari Alert Framework untuk peringatan sistem dan akan memberitahu Anda saat perhatian Anda diperlukan (mis., node mati, sisa ruang disk hampir habis, dll).
    • Ambari memungkinkan Pengembang Aplikasi dan Integrator Sistem untuk mengintegrasikan kemampuan penyediaan, pengelolaan, dan pemantauan Hadoop dengan mudah ke aplikasi mereka sendiri dengan Ambari REST API.

3. Data Operation (Environment Management) - (Manajemen alokasi resource kepada user/group)

  • Apache YARN
    1. YARN adalah untuk membagi fungsionalitas resource management dan job scheduling/monitoring menjadi daemon yang terpisah. Idenya adalah untuk memiliki ResourceManager (RM) global dan ApplicationMaster (AM) per aplikasi. Aplikasi adalah single job atau DAG dari beberapa job.
    2. Apache YARN Resource Management (CGroups)
      • Memiliki fungsi untuk meng-isolate process berat yang menggunakan CPU. Apabila menggunakan CPU Scheduling, CGroups juga perlu digunakan untuk membatasi dan mengatur penggunaan CPU

4. Data Operation (Environment Management) - (Resource management untuk kegiatan data science)

Apache YARN:

  • YARN adalah untuk membagi fungsionalitas resource management dan job scheduling/monitoring menjadi daemon yang terpisah. Idenya adalah untuk memiliki ResourceManager (RM) global dan ApplicationMaster (AM) per aplikasi. Aplikasi adalah single job atau DAG dari beberapa job.
  • Apache YARN Resource Management (CGroups)
    • Memiliki fungsi untuk meng-isolate process berat yang menggunakan CPU. Apabila menggunakan CPU Scheduling, CGroups juga perlu digunakan untuk membatasi dan mengatur penggunaan CPU