logo bigbox
Groundbreaking solutions. data transformation.

Whether your business is early in its journey or well on its way to digital transformation, our solutions and technologies help chart a path to success.

Learn more...

Why Bigbox

Choosing Bigbox
Reasons why companies choose us
About Us
Get closer with us
Events
Read the latest stories and product updates
Locations
Check our locations
Partners
see our partners

DATA STORAGE

1. Data Storage - (HDFS or Data Lake storage)

Hadoop Distributed File System (HDFS) adalah sistem file terdistribusi yang dirancang untuk berjalan pada perangkat keras komoditas. Ini memiliki banyak kesamaan dengan sistem file terdistribusi yang ada. Namun, perbedaan dari sistem file terdistribusi lainnya cukup signifikan. HDFS sangat toleran terhadap kesalahan dan dirancang untuk digunakan pada perangkat keras berbiaya rendah. HDFS menyediakan akses throughput tinggi ke data aplikasi dan cocok untuk aplikasi yang memiliki kumpulan data besar.

2. Data Storage - (Access control with integration with Active Directory)

Kerberos adalah protokol otentikasi jaringan komputer, yang menyediakan Single Sign On (SSO) yang aman berdasarkan layanan otentikasi timbal balik pihak ketiga yang terpercaya.

  • Ini aman karena kata sandi pengguna tidak pernah dikirimkan melalui jaringan. Kerberos menggunakan Tiket yang dinegosiasikan dengan server, dengan waktu hidup yang terbatas.
  • Ini adalah sistem SSO, satu tiket dapat digunakan oleh semua layanan hingga masa berlakunya habis.
  • Ini bertindak sebagai pihak ketiga yang terpercaya karena semua kunci pengguna dan layanan dikelola oleh server Kerberos.
  • Ini adalah sistem otentikasi timbal balik yang menjamin tidak hanya bahwa pengguna adalah siapa dia berpura-pura, tetapi juga karena setiap pengguna dijamin bahwa layanan yang diakses adalah layanan yang diharapkan.
  • Kerberos banyak digunakan di dunia Microsoft™, karena semua mekanisme otentikasi pada Microsoft™ dilakukan melalui protokol ini.

3. Data Storage - (Data Security (Encryption))

HDFS mengimplementasikan enkripsi end-to-end yang transparan. Setelah dikonfigurasi, data yang dibaca dari dan ditulis ke direktori HDFS khusus dienkripsi dan didekripsi secara transparan tanpa memerlukan perubahan pada kode aplikasi pengguna. Enkripsi ini juga end-to-end, yang berarti data hanya dapat dienkripsi dan didekripsi oleh klien. HDFS tidak pernah menyimpan atau memiliki akses ke data yang tidak terenkripsi atau kunci enkripsi data yang tidak terenkripsi. Ini memenuhi dua persyaratan umum untuk enkripsi: enkripsi at-rest (artinya data pada media persisten, seperti disk) serta enkripsi in-transit (misalnya saat data berjalan melalui jaringan).

4. Data Storage - (High Performance SQL Database (MemSQL))

Bagaimana DB SingleStore bekerja:

  • SingleStore DB adalah database relasional terdistribusi yang menangani transaksi dan analitik real-time dalam skala besar. Ini dapat diakses melalui driver SQL standar dan mendukung sintaks ANSI SQL termasuk gabungan, filter, dan kemampuan analitis (misalnya fungsi agregat, grup menurut, dan windowing).
  • SingleStore DB menskalakan secara horizontal pada instans cloud atau perangkat keras standar industri, memberikan throughput tinggi di berbagai platform.
  • Basis data DB SingleStore mempertahankan kompatibilitas luas dengan teknologi umum dalam ekosistem pemrosesan data modern (misalnya platform orkestrasi, IDE pengembang, dan alat BI), sehingga Anda dapat dengan mudah mengintegrasikannya di lingkungan yang ada. Ini fitur rowstore dalam memori dan columnstore on-disk untuk menangani beban kerja operasional dan analitis yang sangat bersamaan.
  • SingleStore DB juga dilengkapi teknologi penyerapan data yang disebut SingleStore Pipelines yang mengalirkan data dalam jumlah besar dengan throughput tinggi ke dalam database dengan semantik tepat satu kali.

5. Data Storage - (High performance Graph Database)

Dapat terintegrasi dengan high performance graph database seperti TigerGraph atau Redis. Khusus untuk integrasi dengan Redis, BigAction sudah memiliki processor RedisConnectionPoolService. Demikian juga untuk integrasi dengan TigerGraph, dapat menggunakan library JDBC.

6. Data Storage - (Support spatial data type)

SingleStore mendukung untuk penggunaan tipe data geospatial

  • SingleStore telah menambahkan dukungan untuk query geospasial. Istilah "geospasial" mencakup berbagai fitur yang sangat luas. Ada standarisasi formal untuk beberapa fitur tersebut, yang dikenal sebagai SQL-MM atau OpenGIS. Fitur-fitur di SingleStore bukanlah implementasi lengkap dari standar tersebut, tetapi mengikuti struktur yang sama. Pada tingkat dasar, dukungan geospasial memerlukan tiga hal: tipe data, fungsi topologi, dan fungsi pengukuran.
  • Tiga jenis objek geospasial utama adalah titik, jalur, dan poligon. Kami mendukung subset standar sintaks "Teks yang Dikenali" (WKT) untuk mendeskripsikannya. Misalnya, POINT adalah pasangan garis bujur/lintang sederhana.

7. Data Storage - (Full Text Search)

  • Apache SOLR
    • Kemampuan Pencarian Teks Lengkap Tingkat Lanjut
      • Didukung oleh Lucene™, Solr memungkinkan kemampuan pencocokan yang kuat termasuk frase, wildcard, bergabung, pengelompokan dan banyak lagi di semua tipe data

8. Data Storage - (Mampu Menangani User Session Yang Banyak)

Single store bersifat distributed SQL dan memiliki skema Aggregator & leaf. sehingga memungkinkan untuk mengatasi user Session yang banyak.

9. Data Storage - (Mampu Menangani Data dan Tetap Mampu Memberikan Respon Query cepat (<1 detik))

  • SingleStore memberi waktu respons interaktif yang diinginkan pengguna, pada kumpulan data besar, dengan akses bersamaan, tanpa menggunakan hasil pra komputasi.

  • Berdasarkan gambar diatas, SingleStore mampu mengquery 1,2 Milyar Row Data dengan waktu kurang lebih 0,045 detik

10. Data Storage- (Memiliki Fungsi Machine Learning in Database)

  • SingleStore menawarkan platform ingest dan query ultra-cepat yang memungkinkan penilaian model secara real-time pada data streaming dan historical.
  • SingleStore menawarkan arsitektur ideal untuk aplikasi ML dan AI dengan solusi database all-in-one yang dapat dengan cepat memodelkan dan menilai data yang berubah dengan cepat untuk respons real-time terhadap kondisi dinamis yang didorong oleh pelanggan, mesin, atau operasi 24/7.

11. Data Storage - (Memiliki kemampuan menyimpan berbagai format data, baik itu terstruktur, semi-terstruktur maupun tidak terstruktur)

Database bisa menyimpan data structured, semi-structured dan unstructured

  • HDFS biasanya menyimpan data yang berukuran besar (gigabyte hingga petabyte) dan juga mendukung penyimpanan data seperti structured, semi-structured, dan unstructured data.

12. Data Storage - (Mampu melakukan proses insert-update-select terhadap satu tabel secara bersamaan (ACID compliant))

Data Storage → (ACID Compliance)

  • Apache Hive
    • Apache Hive dapat melakukan transaksi ACID (atomisitas, konsistensi, isolasi, dan daya tahan) v2 pada row-level tanpa konfigurasi apa pun. Secara default, tabel terkelola adalah tabel ACID. Anda tidak dapat menonaktifkan transaksi.
  • SingleStore
    • Dukungan transaksional di SingleStore mirip dengan sistem NoSQL mana pun, karena sistem SingleStore dan NoSQL dapat melakukan pemuatan berkelanjutan. Perbedaannya adalah bahwa SingleStore sudah comply dengan ACID. SingleStore membawa setiap transaksi hingga ke disk, jadi tidak ada risiko kehilangan data. SingleStore memiliki mekanisme logging klasik, sehingga kita dapat melakukan konfigurasi HA dan replikasi transaksi ke node atau cluster lain untuk memastikan ketersediaan data.