Instalasi Pentaho Data Integration

Halo Semeton. Setelah beberappa hari kemarin kita membahas mengenai Data Warehouse, kali ini kita akan membahas mengenai instalasi salah satu tools yaitu Pentaho Data Integration dengan dosen bapak I Putu Agus Eka Pratama ST., MT.

Pentaho Data Integration (PDI) adalah sebuah ETL tool open source yang populer. Selain versi enterprise, ada versi community yang bisa kita gunakan secara cuma-cuma. PDI dapat dijalankan sebagai aplikasi standalone atau sebagai aplilasi client-server, dimana development dilakukan di komputer dan eksekusi dijalankan di server. Untuk perkenalan singkat ini, kita menggunakan PDI Community Edition sebagai aplikasi standalone untuk load dataset CSV ke dalam database. Untuk menginstall PDI, terdapat tiga hal penting yang wajib dilakukan, yaitu.

1.      Instalasi Java Software (JDK & JRE)

2.      Konfigurasi Environment Variables untuk path Java

3.      Instalasi Pentaho

Mari kita mulai dengan langkah pertama.

1. Instalasi Java Software

Untuk mengecek apakah Java telah terinstall atau belum pada PC yg digunakan, dapat melalui Command Promt (CMD), lalu ketik java -version seperti gambar dibawah ini.

Apabila PC yang digunakan belum terinstall java sebelumnya, Java Software dapat diunduh melalui link berikut ini

http://www.oracle.com/technetwork/java/javase/downloads/index.html

2. Konfigurasi Environment Variables untuk path Java

Untuk membuka PDI Client, kita perlu mengatur konfigurasi Environment Variable untuk pathhh Java terlebih dahulu. Untuk mengatur konfigurasi, masuk ke Control Panel > System and Security > System lalu pilih Advanced System Settings. Untuk langkah selanjutnya dapat mengikuti seperti pada gambar di bawah ini.

3. Install Pentaho Data Integration (PDI)

Pentaho Data Integration dapat diunduh di >>>. Untuk mengunduh PDI ini cukup memilih pilihan Download dan sistem akan otomatis melakukan proses mengunduh.

Setelah proses unduh PDI selesai, selanjutnya adalah extract file PDI. Jalankan file Spoon.bat dan akan muncul halaman awal dari PDI seperti gambar di bawah ini dan proses instalasi telah selesai.

Read More

Cloud Computing

Halo Semeton. Pernah mendengar istila Cloud Computing. Naah, kali ini kita akan membahas mengenai materi yang saya dapatkan di Program Studi Teknologi Informasi di mata kuliah Data Warehouse mengenai Cloud Computing dengan dosen bapak I Putu Agus Eka Pratama ST., MT.

Cloud Computing atau komputasi awan merupakan gabungan pemanfaatan teknologi komputasi dan pengembangan berbasis internet. Awan atau cloud adalah metafora dari internet sebagaimana awan sering digambarkan di diagram jaringan computer, awan dalam cloud computing juga merupakan abstraksi dari infrastruktur kompleks yang disembunyikannya. Komputasi awan adalah suatu konsep umum yang mencakup SaaS, Web 2.0, dan tren teknologi terbaru lain yang dikenal luas, dengan tema umum berupa ketergantungan terhadap Internet untuk memberikan kebutuhan komputasi pengguna.

Cloud Computing memiliki 4 model pengembangan yaitu public, private, hybrid dan community.

      -        Public

Model pengembangan ini disediakan untuk memenuhi kebutuhan masyarakat umum. Model pengembangan ini menggunakan jaringan internet yang memudahkan pengguna karena hanya perlu mendaftar atau bisa langsung menggunakan layanan yang ada.

     -        Private

Berbeda dengan public, model pengembangan ini hanya disediakan untuk memenuhi kebutuhan dari internal dari sebuah perusahaan. Jaringan yang digunakan untuk model ini yaitu menggunakan intranet. Model ini mejamin keamanan data karena dikelola sendiri oleh internal dari perusahaan tersebut.

      -        Hybrid

Model pengembangan ini menggabungkan antara public dan private dimana model pengembangan ini khusus di gunakan pada perusahaan yang memiliki kebutuhan khusus seperti pengerjaan yang dilakukan di luar internal perusahaan yang tidak dapat terhubung dengan intranet perusahaan.

      -        Community

Model pengembangan ini jarang diterapkan. Model ini memungkinkan perusahaan dalam menggunakan cloud di setiap unit perusahaan dan unit-unit tersebut memiliki cloud sendiri yang bersifat public, private atau hybrid.

Cloud Computing memiliki 3 jenis layanan yaitu Software as a Service, Platform as a Service dan Infrastructure as a Service.

      1.     SaaS (Software as a Service)

SaaS merupakan layanan dari cloud computing dimana pengguna hanya perlu memakai software yang telah disediakan seperti layanan email publik seperti Gmail, YahooMail, dsb.

      2.     PaaS (Platform as a Service)

Layanan cloud ini merupakan layanan yang tersedia dalam bentuk platform dan dapat dimanfaatkan pengguna untuk membuat aplikasi diatasnya seperti amazon web service, Microsoft azure, facebook dsb. Layanan PaaS dapat digunakan untuk membangun aplikasi, mengupload aplikasi testing dan mengatur konfigurasinya.

      3.     IaaS (Infrastructure as a Service)

IaaS menjadi layanan yang pada dasarnya merupakan fisik kotak server dan computer virtual. IaaS menyediakan perusahaan dengan sumber daya komputasi yang meliputi server, jaringan, storage dan ruang data center.

Cloud warehousing merupakan penggabungan antara data warehouse dengan cloud dimana cloud warehousing ini digunakan untuk kebutuhan pengguna yang semakin bervariasi menyangkut keamanan, kemudahan dan kehandalan data. Cloud warehousing juga dipengaruhi dengan maraknya penggunaan teknologi cloud.

Cloud warehousing ini memiliki 3 jenis arsitektur yaitu.  

     1.     Shared Nothing Architecture Cloud Warehousing

Data Warehouse dan Cloud computing masing – masing node memiliki memori, prosesor, dan media penyimpanan sendiri. Pilihan ini bersifat scalable, dapat disesuaikan dengan lingkup enterprise yang menggunakannya. Jenis arsitektur ini paling banyak diterapkan.

      2.     Shared Disk Architecture Cloud Warehousing

Pada arsitektur ini, terjadi penggunaan bersama DBMS yang digunakan pada Data Warehouse, storage/disk, di mana setiap node telah memiliki procesor dan memori sendiri. arsitektur ini bersifat lebih kompleks dibandingkan dengan Shared Nothing Architecture Cloud Warehousing

      3.     Shared Memory Architecture Cloud Warehousing

   Pada arsitektur ini, setiap node memiliki processor sendiri, namun berbagi memori bersama (shared memory). Arsitektur ini perlu mempertimbangkan adanya latency di dalam jaringan dan komunikasi data.

Cloud warehousing sangat layak untuk diterapkan. Namun ada beberapa kendala dan tatangan yang harus diperhatikan yakni Sumber daya komputasi yang digunakan, kemampuan dan dukungan sistem, kapasitas ruangan penyimpana dan memperhatikan sisi keamanan (sistem, jaringan, pengguna, policy, QoS).

Read More

Business Intelligence

  Halo Semeton. kali ini kita akan membahas mengenai materi yang saya dapatkan di Program Studi Teknologi Informasi di mata kuliah Data Warehouse. Namun untuk materi kali ini bukan lagi berkaitan langsung dengan Data Warehouse, melainkan perkembangannya yaitu mengenai Business Intelligence dengan dosen bapak I Putu Agus Eka Pratama ST., MT.

BI (Business Intelligence) merupakan system yang berbasiskan data dimana system ini dapat merubah data mentah menjadi sebuah informasi yang nantinya digunakan untuk kepentingan analisis bisnis. Data yang digunakan oleh BI merupakan data transaksional dan data historis dari usaha bisnis. BI sendiri memiliki fungsi yang salah satunya yaitu untuk membantu mengetahui karakter dari pelanggan, keadaan pasar dan menjaga hubungan baik dengan pelanggan.

            Terdapat lima konsep dasar yang membuat BI berbeda dengan Data Warehouse yaitu, Data Slicing, Data analysis, situation awareness, risk analysis dan decision support.

1.    Data Slicing

BI dapat digunakan untuk memilah sumber data dengan melihat historis dari sumber data. Selain historis, dapat dilihat juga format data yang digunakan pada data yang akan di slicing harus lah sama agar proses slicing berjalan dengan mudah.

2.    Data Analysis

BI berfungsi menganalisi data yang telah di kumpulkan dari berbagai sumber data. Data yang dikumpulkan kemudian diambil knowledgenya lalu di lakukan analisa.

3.    Situation Awareness

BI memperhatikan environment atau lokasi bisnis sehingga pemilik usaha dapat mengetahui pemetaan datanya.

4.    Risk Analysis

Data hasil analisis BI dapat digunakan oleh stakeholder perusahaan untuk  melihat resiko atau akbat yang akan didapatkan apabila data atau informasi tersebut diterapkan. Resiko yang akan dihadapi dapat diminimalisir atau dicegah sedini mungkin. Contohnya adanya data corrupt sehingga akan membuat data susah untuk di slacing dan dianalisa. Pihak perusahaan dapat mencari solusi untuk menangani masalah tersebut.

5.    Decision support

Data yang dianalisa akan memberikan output informasi berupa report atau laporan yang akan diberikan oleh user level 2 kepada user level 1. Report ini akan menjadi factor pendukung pengambilan keputusan.

Contoh- contoh implementasi BI pada bidang bisnis adalah Executive Information System, Business Activity Monitoring, Decision Support System, Management Information System, Geographic Information System, dan lain- lain.

1.    Executive Information System (EIS)

Executive Information System adalah manajemen sistem informasi untuk memudahkan dan mendukung keterangan dan pembuatan keputusan yang dibutuhkan eksekutif senior dengan menyediakan kemudahan akses terhadap informasi baik dari dalam maupun dari luar yang relevan dengan tujuan organisasi.

2.    Business Activity Monitoring (BAM)

BAM berfungsi memonitoring semua aktivitas perusahaan sehingga didapatkan informasi dan knowledge-nya.

3.    Decision Support System (DSS)

Decision Support System merupakan bagian dari sistem informasi berbasis komputer (termasuk sistem berbasis pengetahuan) yang dipakai untuk mendukung pengambilan keputusan dalam suatu organisasi atau perusahaan.

4.    Management Information System (MIS)

Management Information System merupakan sistem perencanaan bagian dari pengendalian internal suatu bisnis yang meliputi pemanfaatan manusia, dokumen, teknologi, dan prosedur oleh akuntansi manajemen untuk memecahkan masalah bisnis seperti biaya produk, layanan, atau suatu strategi bisnis.

5.    Geographic Information System (GIS)

Geographic Information System merupakan sistem informasi khusus yang mengelola data yang memiliki informasi spasial (bereferensi keruangan).  Apabila dikaitkan dalam dalam bidang bisnis, system ini akan membantu menentukan lokasi pelanggan, menentukan produk apa yang cocok dipasarkan pada wilayah tertentu, serta perusahaan dapat memberi jejak sehingga akan memudahkan pelanggan untuk mendekati perusahaan.

       BI Tools merupakan tools yang digunakan untuk mengimplementasikan BI itu sendiri. Tools ini terdiri dari 3 jenis yakni software, hardware, dan system. Contoh software atau modul yang biasa digunakan yakni Pentaho.

Read More

Integrasi pada Data Warehouse

  Halo Semeton. kali ini kita akan membahas mengenai materi yang saya dapatkan di Program Studi Teknologi Informasi Universitas Udayana di mata kuliah Data Warehouse mengenai Integrasi pada Data Warehouse dengan dosen bapak I Putu Agus Eka Pratama ST., MT.

Integrasi merupakan sebuah sistem yang mengalami penyatuan sesuatu hingga menjadi utuh. Integrasi dalam teknologi memiliki banyak kegunaan diantaranya integrase dalam level data, level aplikasi dan level middleware.

Integrasi data adalah penggabungan data dari 2 atau lebih database yang berbeda dengan menjadikan data tersebut menjadi satu tempat penyimpanan atau Gudang data (Data warehouse) yang berfungsi sebagai alat untuk mempermudah user untuk melakukan Analisa.

Integrasi Aplikasi memiliki fungsi yang hampir sama dengan integrase data. Integrasi aplikasi akan menyatukan penggabungan aplikasi-aplikasi untuk mempermudah user untuk melakukan pertukaran data serta informasi antar aplikasi.

Integrasi middleware merupakan sistem perangkat lunak yang menawarkan jasa runtime untuk komunikasi, pelaksanaan integrasi aplikasi, pemantauan dan operasi.  Fungsi utama dari middleware adalah untuk membantu membuat pengembangan aplikasi sederhana. Hal ini dilakukan dengan menawarkan abstraksi pemrograman umum, menutupi heterogenitas, memberikan sistem operasi fundamental dan perangkat keras, dan masking tingkat rendah rincian pemrograman.

Tujuan adanya integrasi pada data warehouse adalah untuk menganalisa data sehingga instansi mendapatkan informasi dari sepotong data yang di dapatkan dengan melakukan mining yang di sebut dengan knowledge. Knowledge ini dapat digunakan dengan mengambil keputusan dan penentuan strategi.

            Contoh pengaplikasian integrase dapat dilihat dengan contoh schema berikut dengan contoh kasus dirjen pajak.

Implementasi Data Warehouse Terintegrasi terdapat pada Dirjen Pajak dimana data didapatkan dari 2 sumber data yakni Sumber data Internal dan Eksternal (Mengambil data dari social media masyarakat) lalu digudangkan didalam Data Warehouse. Data Warehouse yang telah dianalisa dapat dapat menghasilkan output berupa informasi. User Level 1, Level 2 dan Level 3 dengan mengakses Dashboard. User Level 3 akan membersihkan dan melakukan Slacing Data yang pada Data Warehouse.

Referensi:

I Putu Agus Eka Pratama. Handbook Data Warehouse. Penerbit Informatika. Bandung. 2017

Read More

Model Pengembangan Data Warehouse dan Data Multi Dimensi

 Halo Semeton. kali ini kita akan membahas mengenai materi yang saya dapatkan di Program Studi Teknologi Informasi di mata kuliah Data Warehouse mengenai  Model Pengembangan Data Warehouse dan Data Multi Dimensi dengan dosen bapak I Putu Agus Eka Pratama ST., MT.

Pada media penyimpanan data saat ini, terdapat perbedaan mendasar antara data yang tersimpan pada database biasa dengan data yang tersimpan pada Data Warehouse. Hal ini disebabkan karena data- data pada Data Warehouse selain bertujuan untuk historis, juga digunakan untuk menganalisa data yang akan berdampak pada pengambilan keputusan dan pembuatan laporan. Solusi dari masalah ini adalah bagaimana melihat data dari berbagai dimensi yang berbeda- beda.

Data Mart merupakan sub bagian dari Data Warehouse keseluruhan sebagai sebuah struktur data, yang di dalamnya memuat data, guna memudahkan pengguna akhir di dalam mengakses data dari Data Warehouse sesuai kebutuhan ataupun untuk analisa data. Data Mart juga dapat didefinisikan sebagai unit (bagian) dari Data Warehouse secara keseluruhan yang berada pada layer akses (Access Layer) berorientasikan kepada spesifik proses bisnis dan kebutuhan dari unit organisasi tempat di mana Data Warehouse tersebut diimplementasikan. Apabila dianalogikan sebagai sebuah himpunan, maka Data Mart adalah himpunan bagian dari sebuah himpunan semesta bernama Data Warehouse. Sehingga apabila Data Warehouse memuat semua data sesuai kebutuhan dari keseluruhan organisasi bersangkutan, maka Data Mart hanya memuat data spesifik sesuai kebutuhan per unit atau departemen saja.

Pengembangan Data Warehouse memiliki beberapa model yang didapatkan berdasarkan hierarki dan masukan dari pengguna yaitu sebagai berikut.

1.     Top Down tanpa User Feedback

Aliran data pada model Top Down tanpa User Feedback ini sangatlah sederhana karena tidak melibatkan user feedback. Aliran data berawal dari sumber-sumber data kemudian diteruskan ke Data Warehouse lalu di pecah ke dalam beberapa Data Mart. Penggambaran model ini adalah sebagai berikut.

2.     Bottom Up tanpa User Feedback

Model Bottom Up tanpa User Feedback ini merupakan kebalikan dari model Top Down tanpa User Feedback dimana berbeda dari Top Down yang memulai pengembangan dari atas, model ini memulai pengembangannya dari bawah dimana Data Mart dibentuk dari data-data yang berasal dari berbagai sumber data. Pada tahap satu, menerapkan ETT (Extraction, Transformation, Transportation) pada sumber – sumber data ke masing – masing Data Mart. Kemudian setiap Data Mart mengintegrasikan data – data dari berbagai sumber tersebut. Pada Tahap dua, data dialirkan dari masing- masing Data Mart ke Data Warehouse, dengan kembali menggunakan proses ETT (Extraction, Transformation, Transportation) pada data dari setiap Data Mart kembali diintegrasikan di dalam Data Warehouse kemudian dilakukan juga penghilangan Redudancy pada data- data dari sejumlah Data Mart tersebut. Berikut visualisasi dari model ini.

3.     Parallel tanpa User Feedback

Model Parallel tanpa User Feedback merupakan modifikasi dari model Top Down, namun Data Marttidak sepenuhnya bergantung kepada Data Warehouse (dalam hal sumber data yang diperoleh). Mekanisme kerja dimulai dengan dibangunnya Data Warehouse dari berbagai sumber data. Di dalam Data Warehouse terdapat Data Model yang menjadi acuan bagi model data untuk Data Mart- Data Mart yang dibentuk kemudian Data Model ikut mempengaruhi Data Mart. Kemudian Data Mart yang terbentuk, ikut berperan di dalam membangun Data Warehouse melalui integrasi di level data.

4.     Top Down beserta User Feedback

Pada Model Top Down beserta User Feedback sejumlah data dari berbagi sumber data membentuk Data Warehouse. Data Warehouse menjadi pusat dari penggudangan data- data yang berasal dari berbagai sumber data tersebut. Pada model ini terjadi proses integrasi di level data yang bertujuan memudahkan data- data disatukan ke dalam sebuah gudang data ini. Dari Data Warehouse, dibentuk sejumlah Data Mart sesuai dengan kebutuhan pengguna. User Feedback pada Data Mart, menjadi tolok ukur di dalam pengembangan berkelanjutan pada Data Mart dan Data Warehouse itu sendiri. Pada Model Top Down beserta User Feedback, User Feedback mempengaruhi Data Mart dan secara otomatis akan mempengaruhi Data Warehouse itu sendiri. Terdapat aliran bolak- balik dari User Feedback (pengguna) ke Data Mart dan dari Data Mart ke Data Warehouse.

5.     Bottom Up beserta User Feedback

Mekaisme kerja pada Bottom Up beserta User Feedback dimulai dari dibentuknya terlebih dahulu dua Data Mart atau lebih, menggunakan data – data dari berbagai sumber data. Kemudian digunakan ETT (Extraction, Transformation, Transportation) untuk membantu pengumpulan data, ekstraksi data, transformasi ke format data yang disepakati bersama di dalam Data Mart, serta integrasi di level data itu sendiri. .Lalu dibentuk Data Warehouse dari Data Mart yang terbentuk kemudian kembali menggunakan ETT untuk mengintegrasikan data- data dari berbagai Data Mart tersebut ke dalam kesatuan Data Warehouse. User Feedback diarahkan melalui tatap muka Data Warehouse, yang berefek terhadap Data Mart- Data Mart yang membentuk Data Warehouse.

6.     Parallel Beserta User Feedback

Mekanisme kerja pada model Parallel beserta User Feedback dimulai dari penentuan aturan untuk model data dari Data Warehouse ke Data Mart yang terbentuk. Data dari berbagai sumber data masuk ke Data Mart dan ke Data Warehouse. Kemudian Data dari sumber data yang menuju ke Data Mart saja yang akan melalui proses ETT (Extraction, Transformation, Transportation). Data yang menuju ke Data Warehouse, terlebih dahulu menuju ke Data Model dari Data Warehouse, untuk menyeragaman format. Pada Data Warehouse tidak terjadi ETT, sebab Data Warehouse menjadi pusat untuk model data enterprise, yang menjadi acuan bagi Data Mart lainnya. Lalu Data Warehouse mengagregasikan data, memuat fungsi koordinasi dan integratif untuk pengembangan ke depannya, termasuk juga manajemen data dan informasi kepada pengguna. User Feedback dialirkan melalui tatap muka ke Data Mart.

Data Warehouse menerapkan Data multi dimensi (Multi Dimensional Data atau MDD). Data multi dimensi merupakan  model data fisik (Physical data Model) yang strukturnya dapat dilihat dari berbagai sudut pandang (dimensi), dengan tiga buah bagian (Record atau baris, Field atau kolom, dan layer), dengan objek – objek data multi dimensi di dalamnya, yang atributnya dibedakan menjadi atribut dimensi dan atribut pengukuran. Data multi dimensi, jika direpresentasikan ke dalam bentuk koordinat, maka dapat ditunjukkan ke dalam tiga buah sumbu, yakni: X, Y, dan Z yang dapat dianalogikan dengan gambar bangun yang memiliki 3 dimensi (panjang, lebar, tinggi).

Data multi dimensi tidak dapat lepas dari kebutuhan untuk mempermudah analisa data. Oleh karena ini data multi dimansi menggunakan dua konsep yakni OLTP dan OLAP. OLTP atau On Line Transactional Data yang berfungsi memproses data – data transaksional namun tidak menyimpan data historis, OLTP hanya digunakan untuk kebutuhan data dan informasi semata dan struktur data hanya terdiri dalam 2 dimensi (baris, kolom). Sedangkan OLAP atau On Line Analytical Data menganalisa data yang berasal dari data – data transaksi (OLTP) dengan mengutamakan historis data. Oleh karena itu, data perlu dilihat dari 3 atau lebih dimensi, untuk kemudahan analisa data. Slicing data atau pemotongan data berlapis – lapis, diasumsikan untuk mengambil data yang relevan untuk kebutuhan analisa.

Referensi:

I Putu Agus Eka Pratama. Handbook Data Warehouse. Penerbit Informatika. Bandung. 2017

Read More

Arsitektur Data Warehouse

Halo Semeton, Kemarin kita sudah mempelajari apa itu data warehouse, kali ini kita akan membahas mengenai arsitektur data warehouse yang saya dapatkan dari mata kuliah Data Warehouse di program studi Teknologi Informasi dengan dosen bapak I Putu Agus Eka Pratama ST., MT.

Arsitektur Data Warehouse diperkenalkan pertama kali oleh Ken Orr di dalam paper publikasinya di tahun 1999 yang berjudul Data Warehouse Technology. Ken Orr berpendapat bahwa Arsitektur Data Warehouse merupakan sebuah cara yang dilakukan oleh arsitek Data Warehouse yang berkaitan dengan perancangan dan desain sistem Data Warehouse di dalam sebuah organisasi, untuk mempresentasikannya ke dalam bentuk bagan/gambar/desain, yang memuat segala hal mengenai struktur data, komunikasi pemrosesan, dan presentasi dari komputasi end to end antarkomputer di dalam sistem Data Warehouse.

Arsitektur Dasar

Arsitektur yang paling sederhana pada data warehouse adalah arsitektur dasar atau Basic. Arsitektur dasar terdapat tiga bagian utama yaitu sebagai berikut.

Gambar 1 Arsitektur Dasar https://www.google.co.id/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=2ahUKEwifv4qagK_dAhVOXn0KHQ0TDzwQjRx6BAgBEAU&url=http%3A%2F%2Fkegiatanwindy.blogspot.com%2F2011%2F09%2Fgudang-data-data-warehouse.html&psig=AOvVaw1YX

1.     Data Sources

Bagian pertama adalah Data Sourcee atau sumber data. Data yang akan dimasukan kedalam data warehouse dapat berupa database, software, repositori, maupun file. Data tersebut bisa didapatkan dari Operational System dan Flat Files.

2.     Warehouse

Bagian kedua adalah Warehouse yang bertugas sebagai gudang penyimpanan data. Pada Warehouse memuat Metadata, Summary Data, dan Raw Data. Metadata merupakan data yang memuat struktur dari data yang bersangkutan. Summary Data merupakan data dari Data Source yang dikumpulkan ke dalam sebuah tabel serta belum dikomputasikan. Dan Raw Data merupakan data mentah yang berasal dari sumber data, yang belum mengalami perubahan apa pun.

3.     Users

Bagian ketiga adalah Users atau pengguna. User terdiri atas tiga kelompok berdasarkan kegiatan yang dilakukan, yaitu Analysis, Mining, dan Reporting.

Staging Area Arsitektur

Jika pada Arsitektur dasar terdapat 3 bagian di dalamnya, maka dalam hal ini ditambahkan satu bagian lagi yaitu Staging Area. Pada arsitektur ini, terlebih dahulu Data Warehouse membersihkan data yang berasal dari berbagai data sumber ke suatu tempat penampungan antara (biasanya disebut dengan staging area) sebelum masuk ke Data Warehouse. Staging area menyeserhanakan proses pembuatan summary dan management warehouse secara umum.

Gambar 2 Staging Area https://www.google.co.id/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=2ahUKEwjo66KMg6_dAhWIsI8KHQ3FCmMQjRx6BAgBEAU&url=https%3A%2F%2Fsinformasikelompoktiga.wordpress.com%2F2014%2F12%2F03%2Fupaya-pemecahan-masalah-dalam-memb

Data Mart Arsitektur

Arsitektur ini merupakan penyempurnaan dari arsitektur sebelumnya. Selain menyematkan staging area, terdapat tambahan 1 bagian yaitu Data Mart. Pada arsitektur ini, data warehouse akan dibagi lagi menjadi beberapa upabagiansesuai dengan tujuan maupun penggunaannya (misal: subset penjualan perusahaan, subset pemasaran perusahaan, maupun subset inventaris perusahaan). bagian dari data warehouse ini biasa desebut sebagai data mart. Data mart itu sendiri tidak selalu dipandang sebagai suatu uang diturunkan dari data warehouse (pendekatan top-down), tapi data mart itu bisa dipandang sebagai komponen penyusun data warehouse (pendekatan bottom-up). Data mart merupakan subset dari data resource, biasanya berorientasi untuk satu tujuan yang spesifik atau subjek data yang didistribusikan untuk mendukung kebutuhan bisnis. Sebagai contoh data purchasing, sales, dan inventory dapat dipisahkan dalam masing-masing cube.

Gambar 3 Data Mart
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiomcdV0_kvBNfL9X5Sv95DHUqr8S9zpk6wwzfeIeEEjR47ob7JBSGWWzcUJVM-FC1PWUwQlqcb43gjedmhVp8v1BGHlvcma_-H8eIZqLeCZr8Hy177T2DDJXpeJe-gwVAZ2Z_I0yOp-o0/s1600/Data+Warehouse+Architecture+With+Staging+Area+and+Data+Marts+.jpg

Oke ton, sekian dulu artikel kali ini mengenai Arsitektur Data Warehouse. Sampai jumpa di blog selanjutnya. AHayy

Read More

Apa itu Data Warehouse?

Halo Semeton. Sebagian diantara kita tentu memiliki suatu benda atau barang yang berharga bagi kita dan tentu kita perlu menyimpannyake dalam gudang atau tempat penyimpanan lainnya agar kelak dapat kita ambil lagi apabila ingin kita gunakan. Namun untuk menyimpannya bukan perkara mudah, agar barang yang kita simpan tidak rusak walau disimpan dalam jangka waktu yang cukup lama. Nah begitu pula dengan data. Pernah ga sih tersirat dibenak kita mengenai bagaimana suatu instansi mengelola dan menyimpan data mereka yang sangat banyak? Apalagi untuk data yang memerlukan jangka waktu penyimpanan yang amat panjang. Bagaimana caranya menyimpan data yang amat banyak agar dapat diproses kembali pada masa yang akan datang? Nah, untuk mengatasi itu semua, diciptakanlah suatu konsep yang bernama Data Warehouse. Berikut ini akan saya perkenalkan apa itu Data Warehouse yang saya dapatkan ketika perkuliahan Data Warehouse dengan dosen I Putu Agus Eka Pratama di Program Studi Teknologi Informasi, Fakultas Teknik, Universitas Udayana.

Gambar 1 Arsitektur Data Warehouse
(sumber : https://panoply.io/uploads/versions/diagram4---x----750-328x---.jpg)

Sebelum kita mempelajari Data Warehouse, ada baiknya kita mempelajari sedikit mengenai hal-hal penting yang menjadi kerangka atau yang akan berkaitan dengan Data Warehouse. Ibarat membangun rumah nih, sebelum membangun rumah, kita harus tahu dulu Merk Semen yang harus digunakan, Jenis batu dan pasirnya harus diperhatikan agar kelas menghasilkan rumah yang kokoh, cieehh.

Di dalam mempelajari Data Warehouse, kita akan sering berjumpa dengan istilah Data dan Informasi. Data dalam istilah komputer merupakan berkas digital yang dihasilkan oleh komputer, yang bersifat acak alias belum terorganisasi, dan belum memiliki nilai, fungsi, maupun arti. Dari data tersebut kemudian akan diolah sehingga menghasilkan informasi. Nah informasi inilah yang kemudian akan menjadi suatu pengetahuan atau knowledge bagi individu yang memerlukannya.

Definisi dari Data Warehouse itu sendiri tidak sesederhana “Gudang data”, walaupun memang terjemahannya demikian. Namun oleh Bill Inmon dan Ralph Kimball, dua tokoh yang berperan besar terhadap lahir dan berkembangnya Data Warehouse memiliki masing-masing definisi yang berbeda sesuai dengan sudut pandang mereka masing-masing.

Bill Inmon [1970] menyatakan bahwa Data Warehouse didefinisikan sebagai sekumpulan data yang memiliki enam buah siifat atau karakteristik yaitu :

·         Subject Oriented

·         Integrated

·         Process Oriented

·         Time Variant

·         Accesible

·         Non Volatile

Keenam buah karakteristik tersebut, berguna untuk mendukung dalam membantu di dalam proses pengambilan keputusan pada suatu organisasi, dengan memanfaatkan data, database, Data Warehouse.

Ralph Kimball, yang juga merupakan Bapak Data Warehouse, memiliki definisi yang sedikit berbeda mengenai Data Warehouse. Ia mendefinisikan Data Warehouse dari sudut pandang yang berbeda yaitu merupakan sebuah sistem untuk pengumpulan data transaksional dari berbagai sumber data, yang mengutamakan adanya dua hal yaitu Query dan Analisa Data.

Perbedaan definisi tersebut justru dapat saling melengkapi (ciehh) sehingga apabila dipadukan, definisi Data Warehouse adalah kumpulan dari sejumlah data dari berbagai sumber data yang digudangkan dari data-data transaksional, yang menganut konsep OLTP (On Line Transactional Processing), dengan memanfaatkan adanya Query pada databes serta proses analisa itu sendiri, didukung oleh enam buah sifat atau karakteristik yang dimilikiya.

Penerapan Data Warehouse telah dilakukan di berbagai bidang kehidupan manusia dan telah membantu para pemimpin instansi dalam mengambil keputusan berdasarkan data yang telah digudangkan. Berikut ini penerapan Data Warehouse di berbagai bidang kehidupan.

·         Perbankan

Di bidang perbankan, Data Warehouse memegang peranan di dalam membantu pihak bank untuk menangani alur dan proses keuangan yang ada di dalam organisasi mereka, manajemen uang nasabah, manajemen kredit, dan peningkatan layanan kepada nasabah.

·         Industri

Di bidang industri atau perusahaan, Data Warehouse memegang pperanan penting pada sejumlah unit bisnis dari industri, baik dari pemetaan dan alur bahan mentah hingga menjadi bahan jadi dan setengah jadi, ppemasaran produk dan distribusi produk, analisa dan evaluasi pasar, stok dan inventori, pembelian bahan baku, penggajian pegawai, hingga pelaporan secara dinamis.

·         Pemerintahan

Implementasi Data Warehouse di sektor pemerintahan salah satunya bermanfaat untuk memudahkan penggambaran dan penyajian data-data transaksi dari sistem pengadaan barang dan jasa secara online dan elektronik. Dengan adanya Data Warehouse, maka proses pengadaan barang dan jasa di pemerintahan diharapkan dapat menjadi lebih transparan dan memudahkan para pemimpin di dallam pengambilan keputusan terkait dengan pengadaan.

·         Marketing

Di dalam marketing, seluruh data digudangkan ke dalam Data Warehouse, untuk memudahkan pelaku bisnis di bidang marketing untuk memperoleh informasi mengenai para pelanggan dan konsumen, Supply Chain, penjualan, pemasaran, dan operasional lainnya.

·         Transpoortasi

Di bidang transportasi, Data Warehouse memegang peranan dalam tata kelola arus lalu lintas maupun peningkatan kepuasan penumpang pada bisnis layanan transportasi.

Oke ton, itulah pengenalan singkat kita mengenai Data Warehouse. Artikel ini merupakan ringkasan saya ketika mengikuti perkuliahan. Nah materi mengenai Data Warehouse akan dibahas pada artikel selanjutnya. Sampai jumpa. Ahayy

SUMBER MATERI :
I Putu Agus Eka Pratama. Handbook Data Warehouse. Informatika. Bandung. 2017. 

Read More