Hardware Sizing (Lesson when PoC in Insurance Company)

Saat PoC disalah satu perusahaan asuransi (Berdiri tahun 1975) kita dihadapkan dengan pertanyaan berikut:

Ok, saya tertarik dengan QlikView dari sisi chart, tabel, reporting, kecepatan pembuatan aplikasi ok, tetapi saat ini ditest dengan file QVW yang besarnya diatas 200MB performancenya lambat. Saya ingin membeli server. Bagaimana spesifikasi server yang cocok? Proyeksi kedepan adalah performance server mesti cepat dengan data yang ada saat ini >200MB dan yang pasti akan terus bertambah dan saya ingin investasi server ini bisa terus dipergunakan selama 5 tahun.

Mabok, 5 tahun? 5 tahun kedepan Anda jadi apa? Anak udah berapa? lalu tinggal dimana 5 tahun kedepan? Lalu udah jadi owner kah 5 tahun lagi ? hehhe…

Jawabnya, Ok. Kita perlu Hardware Sizing. Teman tanya-tanya ke QlikTech Australia jawabnya tidak ada formula baku. Hiss.. jadi teringat jawaban Customer: Kita semua tau, performance bisa ditingkatkan jika menambah RAM, menambah jumlah Processor, atau mengganti processor dengan Processor yang lebih cepat, tapi formulanya bagaimana?

Ya, tidak ada formula yang baku. Tidak ada rumusan x MB file QVW dengan n User yang online butuh server dengan Processor dual quad core dan memory 16 GB. Tidak ada, kata QlikTech Australia. Kalo ditanya ke Support QlikTech Center gak ada balasan, emailnya hilang ditengah jalan, gak nyampe di Swedia hehehe. Support hanya bilang uninstall aplikasi QV sekarang dan install dengan QV terbaru yang ada di ftp.qliktech.com hehe

Jawaban yang lebih teknis didapat dari Finn-QlikTech Australia. Dia juga memberikan dokumen tentang Understanding QlikView Hardware Sizing. Berikut adalah summary nya.

Tujuan dari QlikView Hardware Sizing

Hardware Sizing digunakan untuk menjawab pertanyaan berikut:

1. Jika saya sudah mempunyai server dengan spesifikasi sebagai berikut… berapa banyak user yang dihandle dan seberapa besar data yang masih bisa diproses dengan performance yang ok, atau

2. Saya mempunyai x user dan y Byte data, spesifikasi server yang bagaimana yang saya butuhkan?

Ya, tidak ada formula baku yang tinggal dimasukkan x user dan y Byte data kemudian keluar spesifikasi servernya.

Cara QlikView Hardware Sizing

Pada prinsipnya untuk mengukur perfomance QlikView server (terkait dengan hardware) harus ada dulu file QV yang berisi data production (dalam kasus ini adalalah seluruh data asuransi jiwa yang dimiliki oleh perusahaan ini, berarti jika ada yang mengasuransikan dirinya pada saat perusahaan ini berdiri tahun 1975 dan masih hidup sampai sekarang (33 tahun) ikut dalam QVW ini). Data asuransi jiwa memang banyak terkait dengan masa polis yang ada sampai seumur hidup. File ini akan ditest dengan server yang ada saat ini dan diukur performancenya. Dari sini diproyeksikan Hardware Sizing yang dibutuhkan . Kalau lambat berarti Processor dan Memory mesti ditingkatkan (semua udah tahu ya? hehe)

Karena tidak ada formula yang baku, maka untuk bisa melakukan hardwaer sizing kita harus mengerti bagaimana caranya QlikView bekerja. Hal-hal yang mempengaruhi performance QlikView akan dibahas.

1. RAM

Memory (RAM) adalah tempat data saat QlikVew akan melakukan analisa.

Jika sudah ada file QVWnya (di perusahaan asuransi ini besarnya > 200 MB) maka isi file ini akan diload seluruhnya ke memory begitu file dibuka. QlikView hanya bisa melakukan analisa jika datanya sudah tersedia seluruhnya di memory. Analisa seperti Produk apa yang paling besar setoran preminya, siapa agen dengan produksi terbanyak atau di perusahaan ReAsuransi mana dana yang kita tempatkan paling banyak? Contoh Kasus saat data 200MB diload ke Memory, Memory yang dibutuhkan untuk menyimpan data dari file QVW: 800MB. Kemudian Windows Server butuh 600MB dan QlikView Server butuh 100 MB. Total memory yang dibutuhkan 1,5GB.

Jika memory kurang dari 1,5 GB maka QlikView akan menampilkan out of memory. Data yang ada disimpan dimemory adalah data unaggregated, artinya data belum dihitung, dalam contoh kasus ini belum diketahui setoran premi yang terbesar, agen yang produksinya paling banyak dsbnya, kecuali dalam aplikasi QVW saat dibuka ditampilkan chart yang membutuhkan aggregated data, maka data unaggregated tersebut akan dihitung.

2. Processor

Untuk menghitung (data unaggregated menjadi aggregated) dibutuhkan kinerja processor. Saat ada chart, tabel atau apapun yang berupa User Interface yang perlu ditampikan atau menjawab selection yang dilakukan oleh user, maka Processor akan dibebani. Kinerja Processor adalah liner, artinya jika untuk memproses selection data butuh 6 detik jika menggunakan single processor, maka selection ini akan butuh 3 detik jika menggunakan dual processor, akan menjadi 1.5 detik jika menggunakan processor quad core, 0.75 detik jika menggunakan two quad core processor.

Jika kecepatan processor cukup maka untuk memproses 100 juta record data seharusnya instan sesuai dengan moto: qlik and view.

3. Harddisk

Harddisk tidak berperan banyak dalam penentuan performance server. Harddisk dibutuhkan saat data diload ke memory, setelah ini jika memory cukup, data di harddisk tidak akan dibaca ulang. Harddisk akan dipakai kembali jika memory penuh dan QlikView membutuh memory tambahan untuk menyimpan data atau menyimpan hasil kalkulasi (agregated data). Pengunaan Harddisk sebagai memory cadangan dikenal sebagai Virtual Memory. Konsekwensi pengguanaan Harddisk adalah perfomance drop dan bisa muncul undesirable error.

Berikut adalah contoh hitungan proyeksi qlikview hardware sizing:

•- Dengan existing QVW Gabungan (Health & Life) besar qvw=260 MB

- •Assumsi test 1 user di 64bit server, 8 GB RAM, 8 Processor cores performance cukup cepat <5 detik per click.

Konsumsi RAM = 1.5 GB

Windows O/S + QV Server requirement = 700 MB

Konsumsi RAM untuk 1 user = 1.5 GB – 700 MB = 800 MB.

•- Untuk user ke-2 dst perlu ditest performance-nya untuk mencari pola tambahan konsumsi RAM dan Response time

QV. Bila normal antara 10-15%, namun bila design & scripting QV sangat complex bisa membutuhkan tambahan

RAM sampai 100%.

•

Assumsi Normal: Untuk user ke-2 15% x 800 MB = 120 MB

• Jadi untuk 7 User CAL akan butuh tambahan 6×120 MB = 720 MB.

Total RAM yang dibutuhkan = 1.5 GB + 720 MB = 2.220 MB

•Kalau 64 bit Server, 8 GB RAM, 8 Proc-cores dapat menangani 2 user concurrent dengan hasil response time sama

berarti server dgn kapasitas existing cukup untuk menampung 7 user CAL (konsumsi RAM masih ada sisa

5.780 MB. Sehingga masih dapat ditingkatkan lagi jumlah user nya.