Model dan Struktur Data Warehouse Pada Data Mining

Pengertian Data Warehouse Data Mining

Data warehouse merupakan proses mengekstraksi dan mentransformasi data operasional kedalam data informasional dan memuatkan ke dalam sebuah toko atau gudang data terpusat. Data yang dimuat dapat diakses melalui desktop query dan alat analisis oleh pembuat keputusan.

Model Data Warehouse pada Data Mining

Model data warehouse digambarkan dalam diagram berikut ini :

Baca Juga: Perbedaan Data Warehouse dan Sistem OLTP pada Data Mining

Data dalam warehouse sendiri mempunayi suatu struktur yang berbeda dengan menekankan pada level peringkasan yang berbeda seperti ditunjukkan pada gambar berikut :

Data détail terkini merupakan pusat kepentingan sebagai :

1. Mencerminkan kejadian terkini yang biasanya paling menarik.
2. Data yang sangat besar disimpan pada level kecil.
3. Selalu disimpan pada penyimpanan disk yang cepat diakses tetapi mahal dan kompleks dalam pengelolaannya.

Detail data yang lebih lama disimpan pada beberapa bentuk penyimpanan massal, yang tidak terlalu sering diakses dan disimpan pada sebuah detil level dengan detil data terkini.

Baca Juga: Proses dalam Data Warehouse pada Data Mining

Data yang diringkas dengan jelas merupakan data yang disaring dari level detil rendah yang ditemukan pada level detil tertentu dan secara umum disimpan pada penyimpanan piringan (disk). Saat membangun gudang dat-a perlu mempertimbangkan unit waktu penyelesaian penarikan kesimpulan dan juga isi atau atribut dari ringkasan data.

Ringkasan data yang lebih tinggi padat dan mudah diakses dan dapat ditemukan diluar gudang.
Metadata adalah komponen akhir dari gudang data dan merupakan dimensi yang benar-benar berbeda yang tidak sama seperti data yang didapat dari lingkungan operasional tetapi digunakan sebagai:

1. Direktori untuk membantu analis DSS menemukan isi dari gudang data.
2. Pemandu untuk memetakan data saat data ditransformasikan dari lingkungan operasional ke lingkungan gudang data.
3. Pemandu algoritma- -algoritma yang digunakan untuk meringkas antara data detil terkini dan data ringkasan level bawah dan antara data ringkasan level rendah dengan data ringkasan level tinggi, dsb.

Struktur dasar ditunjukkan dalam diagram berikut :

Diagram tersebut diasumsikan pada tahun 1993 sehingga data detil terkini adalah 1992-93. Secara umum, data penjualan tidak mencapai level detil terkini untuk 24 jam selama menunggu sampai tidak tersedia lagi sistem operasional, yaitu diperlukan 24 jam untuk mengambil ke dalam gudang data. Detil penjualan diringkas setiap minggu berdasarkan -sub-pr0duk dan daerah untuk menghasilkan detil ringkasan level rendah. Penjualan mingguan kemudian diringkas lagi untuk menghasilkan data ringkasan level lebih tinggi.

Read More

Perbedaan Data Warehouse dan Sistem OLTP pada Data Mining

Pengertian Data Warehouse pada Data Mining

Data Warehouse atau Gudang data merupakan suatu sistem manajemen basisdata relasional (RDMS) yang didesain khusus untuk memenuhi kebutuhan akan sistem pengolahan transaksi.

Pengertian OLTP pada Data Mining

Dikutip dari kompasiana.com yang ditulis pada artikel tanggal 14 Mei 2013 Online Transaction Processing atau sering dikenal dengan OLTP adalah sistem yang berorientasi proses yang memproses transaksi secara langsung melalui komputer yang terhubung dalam jaringan. Misalnya biasa digunakan pada sebuah supermarket, kasir menggunakan mesin dalam proses transaksinya.

Baca Juga: Proses Dalam Data Warehouse pada Data Mining

Sebuah basisdata yang dibangun untuk pengolahan transaksi secara online (OLTP), secara umum dipandang tidak cocok untuk data warehouse dikanenakan mereka didesain dengan suatu kumpulan kebutuhan yang berbeda, yaitu memaksimalkan kapasitas transaksi dan secara khusus mempunyai ratusan tabel dalam urutan yang tidak membatasi user, dsb. Data warehouse dipandang dalam proses query sebagai lawan dari proses transaksi.

Sistem OLTP tidak dapat menjadi tempat penyimpanan dari data fakta dan histori untuk analisa bisnis.Sistem ini tidak dapat menjawab secara cepat query dan pengambilan kembali secara cepat hampir tidak mungkin. Data yang tidak konsisten dan berubah, duplikasi masukan yang ada, masukan yang hi-lang dan tidak adanya data histori yang diperlukan untuk menganalisa trend.Pada dasarnya OLTP menawarkan sejumlah besar data mentah yang tidak mudah dipahami.Data warehouse menawarkan kemampuan untuk mengambil kembali dan menganalisa informasi secara cepat dan mudah. Data warehouse mempunyai kesamaan dengan OLTP‘seperti terlihat pada tabel berikut :

Baca Juga: Karakteristik Data Warehouse pada Data Mining

Data warehouse melayani tujuan yang berbeda dari sistem OLTP dengan memperbolehkan analisa query sebagai jawaban terhadap "simple aggregation" seperti “bagaimana catatan keuangan dari kastemer ini?" Query data warehouse khusus meliputi seperti "produk yang bagaimana yang paling laku di Amerika tengah dan bagaimana korelasi terhadap data demografis?"

Read More

Proses Dalam Data Warehouse pada Data Mining

Pengertian Data Warehoause pada Data Mining

Data Warehouse didefinisikan sebagai tempat penyimpanan data terpusat yang dapat di-query untuk manfaat bisnis. Data warehousing merupakan teknik baru yang powerful yang membuatnya mungkin untuk mengekstrak data operasional yang diarsipkan dan mengatasi ketidakkonsistensian dari format-format data warisan yang berbeda.

Baca Juga: Karakteristik Data Warehouse pada Data Mining 

Sumber gambar: datawarehouse4u.info

Proses Data Warehouse pada Data Mining

Tahap pertama dalam data warehousing adalah menyekat informasi operasional sekarang Misalnya menjaga keamanan dan integrasi aplikasi 0LTP mission-critical saat kita mengakses basis data yang lebih luas. Hasil basisdata atau data warehouse mungkin menghabiskan ratusan gigabyte atau bahkan terabytes dari ruang disk. Apa yang diperlukan kemudian adalah teknik efisien untuk menyimfian dan mengambil kembali sejumlah informasi secara besar-besaran. Organisasi-organisasi yang besar menemukan bahwa hanya sistem pengolahan pararel memberikan bandWidth yang cukup.

Data warehouse mengambil kembali data dari bermacam basisdata operasional yang beraneka ragam. Data kemudian ditransformasikan dan dikirimkan ke data warehouse berdasarkan model yang dipilih (atau definisi pemetaan]. Proses transformasi dan perpindahan data yang dijalankan pada saat update data ke warehouse diperlukan sehingga seharusnya ada beberapa bentuk automatisasLuntuk mengatur dan menjalankan fungsi-fungsi ini. Informasi yang menggambarkan model dan definisi dari elemen data sumber disebut dengan “metadata”.Metadata diartikan sebagai bagaimana end-user menemukan dan memahami data dalam warehouse dan merupakan bagian penting dari warehouse tersebut.

Paling tidak,metadata harus terdiri dari :

1. Struktur data
2. Algoritma yang digunakan untuk meringkas (summary).
3. Dan pemetaan dari lingkungan operasional ke data warehouse.

Pembersihan data merupakan aspek penting dari pembuatan sebuah data warehouse yang efisien dalam hal menghilangkan aspek-aspek tertentu dari data operasional seperti informasi transaksi level rendah yang memperlambat waktu query. Tahap pembersihan harus dibuat sedinamis mungkin untuk mengakomodasi semua tipe query bahkan mungkin saat membutuhkan informasi level rendah. Data harus diekstrak dari sumber produksi pada interval yang tetap dan disatukan secara terpusat kecuali proses pembersihan untuk menghilangkan duplikasi dan beda rekonsil antara bermacam bentuk kumpulan data.

Baca Juga: Pengertian Gudang Data (Data WareHouse) pada Data Mining 

Setelah data dibersihkan kemudian ditransfer ke dalam data warehouse yang secara khusus merupakan sebuah basisdata yang besar pada sebuah kotak yang punya performasi tinggi seperti SMP (Symmetric Multi—Processing) atau MPP (Massively Parallel Processing). Iumlah kekuatan perekahan merupakan aspek penting lainnya dari data warehouse karena kompleksitas menjadi bagian dalam pengolahan query ad hoc dan kuantitas data yang luas yang ingin digunakan organisasi dalam warehouse. Suatu data warehouse dapat digunakan dalam berbagai cara misalkan digunakan sebagai pusat penyimpanan yang menghadapi pertanyaan-pertanyaan yang dijalankan atau digunakan seperti sebuah pasar data. Pasar data yang merupakan warehouse kecil dapat dibentuk untuk  menyediakan himpunan bagian dari toko utama dan meringkas informasi sesuai dengan kebutuhan dari kelompok atau departemen tertentu. Secara umum, pendekatan toko pusat menggunakan struktur data yang sangat sederhana dengan asumsi-asumsi yang sangat kecil mengenai hubungan antardata, padahal pasar sering menggunakan basisdata multidimensi yang dapat mempercepat proses query sebagaimana mereka dapat mempunyai struktur data yang mencerminkan sebagian besar pertanyaan-pertanyaan yang serupa. .

Banyak vendor mempunyai produk yang menyediakan satu atau lebih fungsi-fungsi data warehouse diatas. Meski begitu, dapat juga menggunakan sejumlah kerja-yang-penting dan pemrograman khusus untuk melengkapi kebutuhan operasional antar produk dari banyak vendor untuk memungkinkan mereka melakukan proses—proses data warehouse yang diperlukan. Implementasi khusus terdiri dari campuran produk—produk dari bermacam suplier.

Read More

Karakteristik Data Warehouse pada Data Mining

Pengertian Data Warehouse pada Data Mining

Data Warehouse merupakan suatu sistem manajemen basisdata relasional (RDMS) yang didesain khusus untuk memenuhi kebutuhan akan sistem pengolahan transaksi. Data Warehouse, secara bebas dapat didefinisikan sebagai tempat penyim'panan data terpusat yang dapat di-query untuk manfaat bisnis.

Baca Juga:  Operasi dan Tahapan Proses data Mining

Sumber gambar: present5.com

Karakteristik Data Warehouse pada Data Mining

Menurut Bill 'Inmon, pemilik Building the Data Warehouse dan ahli yang mendalami konsep data warehouse, ada empat karakteristik data warehouse,yaitu :

• Subject-oriented: Data diorganisasi menurut subyek dari aplikasi, misalnya sebuah perusahaan asuransi menggunakan data warehouse yang mengorganisasi data mereka sebagai kastemer, premi dan klaim, daripada dengan produk-produk berbeda (otomotif, jiwa, dsb). Data diatur oleh subjek yang hanya mengandung informasi yang diperlukan untuk pengolahan pendukung keputusan.
• Integrated: Ketika data menempati aplikasi-aplikasi yang terpisah dalam lingkungan operasional, pengkodean data seringkali tidak konsisten. Sebagai contoh, dalam satu aplikasi, jender mungkin dikodekan sebagai “m" ’dan “f", ada juga dengan 0 dan 1. Saat data dipindahkan dari lingkungan operasionalnya ke dalam data warehouse, mereka akanmengasumsikan suatu konvensi pengkodean dengan konsisten Misalnya data jender ditransformasi menjadi "m" dan "f".

Baca Juga: Pengertian Data Warehouse pada Data Mining

• Time-variant: Data warehouse terdiri dari suatu tempat untuk menyimpan data yang berusia 5 sampai 10 tahun atau lebih lama, untuk digunakan sebagai komparasi, trend dan peramalan. Data-data ini tidak di-update. 
• Non-volatile: Data yang tidak di-updatesesudah mereka memasukkan data warehouse, tetapi hanya dimuat dan diakses.

Read More

Pengertian Gudang Data (Data Warehouse) pada Data Mining

Pengertian Data Mining

Data mining adalah pembelajaran berbasis induksi (induction-based learning) adalah proses pembentukan definisi-definisi konsep umum yang dilakukan dengan cara mengobservasi contoh-contoh spesifik dari konsep-konsep yang akan dipelajari.

Data mining berisi pencarian trend atau pola yang diinginkan dalam database yang besar untuk membantu pengambilan keputusan di waktu yang akan datang. Harapannya, perangkat data mining mampu mengenali pola-pola ini dalam data dengan masukan yang minimal.Pola-pola ini dikenali oleh perangkat tertentu yang dapat memberikan suatu analisa data yang berguna dan berwawasan yang kemudian dapat dipelajari dengan lebih teliti, yang mungkin saja menggunakan perangkat pendukung keputusan yang lainnya.

Sumber Gambar: datawarehouse4u.info

Baca Juga: Definisi Data Mining

Pengertian data Warehouse pada Data Mining

Data mining berpotensi tinggi jika data yang tepat dikumpulkan dan disimpan dalam sebuah gudang data (data warehouse). Sebuah gudang data merupakan suatu sistem manajemen basisdata relasional (RDMS) yang didesain khusus untuk memenuhi kebutuhan akan sistem pengolahan transaksi. Data Warehouse, secara bebas dapat didefinisikan sebagai tempat penyim'panan data terpusat yang dapat di-query untuk manfaat bisnis. Data warehousing merupakan teknik baru yang powerful yang membuatnya mungkin untuk mengekstrak data operasional yang diarsipkan dan mengatasi ketidakkonsistensian dari format-format data warisan yang berbeda. Data warehouse baik untuk mengintegrasikan keseluruhan data sebuah perusahaan,tanpa memperhatikan lokasi, format atau kebutuhan komunikasi yang memungkinkan untuk memasukkan informasi tambahan atau ahli. Ini berarti menghubungkan secara logis antara apa yang dilihat oleh manajer dalam aplikasi 

Baca Juga: Operasi dan tahapan Proses Data Mining 

sistem informasi pendukung keputusan dan aktifitas operasional perusahaan. Dengan kata lain, data warehouse menyediakan data yang siap ditransformasi dan disimpulkan sedemikian hingga membuatnya sesuai untuk aplikasi DSS dan SIM yang lebih efisien.  Gudang data biasanya berisi data sejarah, terkumpul dari sumber yang berbeda-beda seperti sistem proses transaksi online — Online Data Transaction Processing (0LTP), system warisan, file-file teks dan spreadsheets. Pada data-tersebut kemudian dilakukan proses pembersihan untuk aku'rasi dan konsistensi dan mengelolanya untuk memudahkan dan efisiensi pada query.

Read More

Operasi dan Tahapan Proses Data Mining

Pengertian Data Mining

Data mining adalah proses yang mempekerjakan satu atau lebih teknik pembelajaran komputer (machine learning) untuk menganalisis dan mengekstraksi pengetahuan (knowledge) secara otomatis.

Operasi Data Mining

Operasi data mining menurut sifatnya dibedakan menjadi dua, yaitu bersifat :

1. Prediksi (prediction driven) untuk menjawab pertanyaan apa dan sesuatu yang bersifat remang-remang atau transparan.0perasi prediksi digunakan untuk validasi hipotesis, querying dan pelaporan (misal : spreadsheet dan pivot tabel), analisis multidimensi (dimensional summary); OLAP (Online Analytic Processing) serta analisis statistik.
2. Penemuan (discovery driven)bersifat transparan dan untuk menjawab pertanyaan “mengapa?". Operasi penemuan digunakan untuk analisis data eksplorasi, pemodelan prediktif, segmentasi database, analisis keterkaitan (link analysis) dan deteksi deviasi. 

Baca Juga: Definisi Data Mining

Tahapan Proses Data Mining

Tahapan proses dalam penggunaan data mining yang merupakan proses Knowledge Discovery in Databases (KDD) seperti yang terlihat pada Gambar 1.2 dapat diuraikan sebagai berikut :

• Memahami domain aplikasi untuk mengetahui dan menggali pengetahuan awal serta apa sasaran pengguna.
• Membuat target data-set yang meliputi pemilihan data dan fokus pada sub-set data.
• Pembersihan dan transformasi data meliputi eliminasi derau, outliers, missing value serta pemilihan fitur dan reduksi dimensi.
• Penggunaan algoritma data mining yang terdiri dari asosiasi, sekuensial, klasifikasi, klasterisasi. dll.
• Interpretasi. evaluasi dan visualisasi pola untuk melihat apakah ada sesuatu yang baru dan menarik dan dilakukan iterasi jika diperlukan.

Read More

Definisi Data Mining

Data mining merupakan suatu proses yang mempekerjakan satu atau lebih teknik pembelajaran komputer (machine learning) untuk menganalisis dan mengekstraksi pengetahuan (knowledge) secara otomatis.

Sumber gambar : itpro.co.uk

Selain itu Definisi lain dari data mining adalah suatu pembelajaran berbasis induksi (induction-based learning) yang merupakan proses pembentukan definisi-definisi konsep umum yang dilakukan dengan cara mengobservasi contoh-contoh spesifik dari konsep-konsep yang akan dipelajari. Knowledge Discovery in Databases (KDD) adalah penerapan metode saintifik pada data mining.Dalam konteks ini data mining merupakan satu langkah dari proses KDD.

Data mining merupakan proses iteratif dan interaktif untuk menemukan pola atau model baru yang sahih (sempurna), bermanfaat dan dapat dimengerti dalam suatu database yang sangat besar (massive databases).

• Sahih : Dapat digeneralisasi untuk masa yang akan datang.
• Baru : Apa yang sedang tidak diketahui.
• Bermanfaat : Dapat digunakan untuk melakukan suatu tindakan.
• lteratif : Memerlukan sejumlah proses yang diulang.
• Interaktif :Memerlukan interaksi manusia dalam prosesnya.

Data mining berisi pencarian trend atau pola yang diinginkan dalam database besar untuk membantu pengambilan keputusan di waktu yang akan datang. Pola-pola ini dikenali oleh perangkat tertentu yang dapat memberikan suatu analisa data yang berguna dan berwawasan yang kemudian dapat dipelajari dengan lebih teliti, yang mungkin saja menggunakan perangkat pendukung keputusan yang lainnya.

Contoh yang bukan Data mining adalah mencari nomor telp dalam direktori telepon atau query suatu Web search engine untuk informasi mengenai “Amazon”. Sedangkan yang termasuk dalam data mining adalah mencari nama-nama khusus yang lazim di lokasi tertentu seperti di US (O’Brien, o’Rurke, O’Reilly….di daerah Boston) dan mengelompokan dokumen-dokumen yang sama yang diperoleh dari seach engine menurut konteksnya (missal. Amazon rainforest, Amazon.com)

Read More