Tantangan dan Permasalahan Data Mining

Pengertian Data Mining

Data mining adalah proses yang mempekerjakan satu atau lebih teknik pembelajaran komputer (machine learning) untuk menganalisis dan mengekstraksi pengetahuan (knowledge) secara otomatis. Dengan perkembangan ilmu dan teknologi yang semakin pesat ini maka kita sering menjumpai implementasi atau penerapan data mining dilingkungan sekitar kita. Akan tetapi implementasi dari data mining tentu tidak bisa berjalan mulus, ada beberapa tantangan yang harus dihadapai dalam data mining

Baca Juga: Teknik Pencarian Pola Sekuensial (Sequence Mining) pada Data Mining

Tantangan Dalam Data mining

Tantangan dalam data mining meliputi :

1. Scalability, yaitu besarnya ukuran basis data yang digunakan.
2. Dimensionality, yaitu banyaknya jumlah atribut dalam data yang akan diproses.
3. Complex and Heterogeneous Data, yaitu data yang kompleks dan mempunyai variasi yang beragam.
4. Data'QuaIity, kualitas data yang akan diproses seperti data yang bersih dari noise, missing value, dsb.
5. Data Ownership and Distribution, yaitu siapa yang memiliki data dan bagaimana distribusinya.
6. Privacy Preservation, yaitu menjaga kerahasiaan data yang banyak diterapkan pada data nasabah perbankan.
7. Streaming Data, yaitu aliran data itu sendiri.

Baca Juga: Teknik Kaidah Asosisasi(association rules Discovery/Descriptive) pada Data Mining

Permasalahan Dalam Data mining

Sistem data mining berdasar pada basis data yang menyediakan data mentah dan ini memunculkan permasalahan dalam basis data yang cenderung dinamis, tidak lengkap, ber-noise dan besar. Permasalahan lain muncul sebagai akibat dari kecukupan dan relevansi dari informasi yang disimpan.

Basis data seringkali didesain untuk tujuan yang berbeda dari data mining dan kadangkala properti atau atribut yang akan menyederhanakan pekerjaan pembelajaran tidak tersedia atau tidak dapat dimintai dari dunia nyata. Data yang tidak meyakinkan menyebabkan permasalahan karena jika ada atribut-atribut esensial bagi pengetahuan tentang domain aplikasi tidak ada dalam data tidak memungkinkan untuk menemukan pengetahuan yang tepat mengenai domain yang diberikan.

Read More

Teknik Pencarian Pola Sekuensial (Sequence Mining) pada Data Mining

Pengertian Data Mining

Data mining adalah proses yang mempekerjakan satu atau lebih teknik pembelajaran komputer (machine learning) untuk menganalisis dan mengekstraksi pengetahuan (knowledge) secara otomatis.
Setelah sebelumnya membahas tentang Teknik Kaidah Asosisasi(association rules Discovery/Descriptive) pada Data Mining, pada pembahasan kali ini Tutorial Komputer akan membahas tentang salah satu teknik lagi yang ada di dalam data mining. Kita tahu bahwa ada banyak teknik yang bisa digunakan dalam data mining yang meliputi: Classification/Predictive, Clustering/Descriptive, Association Rule Discovery/Descriptive, Sequential Pattern Discovery/Descriptive, Regression/Predictive, dan DeviationDetection/Predictive. Akan tetapi teknik yang akan kita bahas kali ini adalah tentang teknik teknik Pencarian pola sekuensial (Sequence Mining).

Baca Juga: Teknik Kaidah Asosisasi(association rules Discovery/Descriptive) pada Data Mining

Pengertian teknik Pencarian pola sekuensial (Sequence Mining) pada Data Mining

Pencarian pola sekuensial (Sequence Mining) adalah Mencari sejumlah event yang secara umum terjadi bersama-sama. Contoh, dalam satu set urutan DNA, ACGTC diikuti oleh‘GTCA setelah suatu celah selebar 9 dengan probabilitas sebesar 30.%.

Jika diberikan sekumpulan obyek, dengan masing-masing obyek dihubungkan dengan waktu kejadiannya maka dapatkan pola yang memprediksi ketergantungan sekuensial. (sequential dependencies) yang kuat diantara kejadian-kejadian yang berbeda.
(A B)   (C) -> (D    E)

Baca Juga: Teknik Klasterisasi/clustering dan Aplikasinya pada Data Mining

Pola-pola sekuensial pertama, pada dasarnya dibentuk dengan cara mencari semua kemungkinan pola yang ada. Nilai-nilai kejadian dalam pola diatur berdasarkan urutan waktu kejadian.
(A B) (C) (D  E)

Read More

Teknik Kaidah Asosisasi(association rules Discovery/Descriptive) pada Data Mining

Setelah sebelumnya membahas tentang teknik klasterisasi pada data mining, pada pembahasan kali ini Tutorial Komputer akan membahas tentang salah satu teknik lagi yang ada di dalam data mining. Kita tahu bahwa ada banyak teknik yang bisa digunakan dalam data mining yang meliputi: Classification/Predictive, Clustering/Descriptive, Association Rule Discovery/Descriptive, SequentialPattern Discovery/Descriptive, Regression/Predictive, dan DeviationDetection/Predictive. Akan tetapi teknik yang akan kita bahas kali ini adalah tentang teknik klasterisasi atau clustering.

Pengertian Teknik Kaidah Asosisasi (association rules) pada Data Mining

Teknik Kaidah Asosisasi(association rules Discovery/Descriptive) adalah dengan mendeteksi kumpulan atribut-atribut yang muncul bersamaan (co-occur) dalam frekuensi yang sering, dan membentuk sejumlah kaidah dari kumpulan-kumpulan tersebut. Contoh : 90% orang yang berbelanja di suatu supermarket yang membeli roti juga membeli selai, dan 60% dari semua orang yang berbelanja membeli keduanya.

Jika diberikan sekumpulan record yang masing-masing terdiri dari sejumlah item dari kumpulan yang diberikan;Akan menghasilkan aturan ketergantungan (dependency rules) yang akan memprediksi kejadian dari satu item berdasarkan kejadian item lainnya.

Baca Juga: Teknik Klasterisasi/clustering dan Aplikasinya pada Data Mining

Aplikasi pada Teknik Kaidah Asosisasi(association rules Discovery/Descriptive)

Contoh aplikasi kaidah asosiasi adalah sebagai berikut:
1. Marketing and Sales Promotion:
Misalkan diketahui aturan ketergantungan dimana
{Bagels, } --> {Potato Chips}
Potato Chips Sebagai Consequent => dapat digunakan untuk menentukan apa yang dapat dilakukan untuk meningkatkan penjualan.
Bagels in the antacedent => Dapat digunakan untuk melihat produk mana yang akan terkena dampak jika toko tersebut tidak lagi menjual bagels.

Bagels in antecedent and potato chips in concequenst => Dapat digunakan untuk melihat produk apa yang harus dijual dengan bagels untuk mempromosikan penjualan Potato chips!

Baca Juga: Teknik Regresi (Regression/Predictive) pada Data Mining

2. Supermarket shelf management
Tujuan: Untuk mengenali item-item yang dibeli bersama-sama oleh cukup banyak pelanggan.
Pendekatan : Memproses data point-of-sale yang dikumpulk-an dengan pemindai barcode untuk menemukan ketergan’cungan antar-item.
Aturan klasik -- Jika seorang pelanggan membeli diaper dan susu maka dia juga akan membeli beer.Sehingga jangan kaget jika Anda akan menemukan enam pak beeryang ditumpuk dekat diapers!

3. Inventory Management
Tujuan: Seorang pelanggan perusahaan perbaikan peralatan mengharapkan keaslian dari perbaikan produk konsumen dan menjaga pelayanan dengan menggunakan suku cadang yang baik untuk mengurangi jumlah kunjungan ke rumah pelanggan.
Pendekatan: Memproses data peralatan dan suku cadang yang dibutuhkan pada perbaikan sebelumnya di tempat pelanggan yang berbeda dan menemukan pola-pola kejadian yang berulang.

Read More

Teknik Klasterisasi/clustering dan Aplikasinya pada Data Mining

Pada pembahasan kali ini Tutorial Komputer akan membahas tentang salah satu teknik dalam data mining. Kita tahu bahwa ada banyak teknik yang bisa digunakan dalam data mining yang meliputi: Classification/Predictive, Clustering/Descriptive, AssociationRule Discovery/Descriptive, SequentialPattern Discovery/Descriptive, Regression/Predictive, dan DeviationDetection/Predictive. Teknik yang akan kita bahas kali ini adalah tentang teknik klasterisasi atau clustering.

Teknik Klasterisasi (clustering) pada Data Mining

Mempartisi data-set menjadi beberapa sub-set atau kelompok sedemikian rupa sehingga elemen-elemen dari suatu kelompok tertentu memiliki set properti yang dishare bersama, dg tingkat similaritas yang tinggi dalam satu kelompok dan tingkat similaritas antar kelompok yang rendah.Disebut juga dengan ‘unsupervised learning’.

Baca Juga: Teknik Regresi (Regression/Predictive) pada Data Mining

Jika diberikan sejumlah titik data yang masing-masing mempunyai sejumlah atribut, dan dengan menggunakan satu ukuran similaritas, dapat ditemukan klaster-klaster sedemikian hingga :

• Titik-titik data dalam satu klaster mempunyai similaritas yang lebih besar.
• Titik-titik data dalam klaster yang berbeda mempunyai similaritas yang kecil.

Ukuran similaritas yang digunakan

• Euclidean Distance jika atributnya kontinyu.
• Permasalahan lain — ukuran tertentu .

Baca Juga: Teknik Klasifikasi(Classification/Predictive) pada Data mining

Aplikasi dari klasterisasi diantaranya adalah :

1. Market Segmentation:
Tujuan: Membagi pasar kedalam sub-set pelanggan yang berbeda, dim-ana suatu sub-set mungkin dapat dipilih sebagai target pasar yang dicapai dengan satu kombinasi pemasaran yang berbeda.
Pendekatan:

1. Kumpulkan atribut dari pelanggan yang berbeda ber‘dasarkan pada informasi tempat tinggal dap gaya hidup.
2. Tentukan klaster dari pelanggan-pelanggan yang sama.
3. Hitung kualitas klaster dengan mengobservasi pola daya beli pelanggan pada klaster yang samaversus dari klaster yang berbeda.

2. Document Clustering:
Tujuan: Untuk mendapatkan kelompok dokumen yang mempunyai kesamaan berdasarkan  pernyataan atau kata-kata penting yang muncul dalam dokumen tersebut.
Pendekatan:

1. Untuk mengenali kata-kata yang sering muncul dalam tiap dokumen. Dari suatu pengukuran similaritas yang didasarkan pada frekuensi term yang berbeda.
2. Gunakan pengukuran ini untuk membentuk klaster-klaster

Pencapaian: Information Retrieval dapat dimanfaatkan untuk menghubungkan suatu dokumen baru atau mencari term ke dokumen-dokumen yang diklaster.

Read More

Teknik Regresi (Regression/Predictive) pada Data Mining

Pengertian Data Mining

Data mining merupakan proses yang mempekerjakan satu atau lebih teknik pembelajaran komputer (machine learning) untuk menganalisis dan mengekstraksi pengetahuan (knowledge) secara otomatis. Pada artikel sebelumnya di www.teorikomputer.com kami membahas tentang teknik klasifikasi pada data mining. Pada pembahasan kali ini akan kami sampaikan salah satu teknik pada data mining yaitu teknik regresi. Sebelum kita membahas teknik regresi pada data mining kita terlebih dahulu harus tahu macam-macam teknik dan sifat data mining.

Sumber gambar: ittelkom-pwt.ac.id

Baca Juga: Teknik Klasifikasi (Classification /Predictive) pada Data Mining

Macam-macam Teknik dan Sifat Data mining

Ada beberapa teknik dan sifat data mining yaitu sebagai berikut :

1. Classification (Predictive)
2. Clustering (Descriptive)
3. AssociationRule Discovery (Descriptive)
4. SequentialPattern Discovery (Descriptive)
5. Regression (Predictive)
6. DeviationDetection (Predictive)

Baca Juga: Permsalahan Dalam Data Mining

Teknik Regresi(Predictive) dan aplikasinya pada Data Mining

Teknik Regresi dilakukan dengan memprediksi nilai dari suatu variabel kontinyu yang diberikan berdasarkan nilai dari variabel yang lain, dengan mengasumsikan sebuah model ketergantungan linier atau nonlinier. Teknik ini banyak dipelajari dalam statistika, bidang jaringan saraf tiruan (neural network).

Contoh aplikasinya: 

• Memprediksi jumlah penjualan produk baru berdasarkan pada belanja promosi/iklan. 
• Memprediksi kecepatan angin sebagai suatu fungsi suhu, kelembaban, tekanan udara, dsb.
• Time series prediction dari indeks stock market.

Read More

Teknik Klasifikasi(Classification/Predictive) pada Data mining

Pengertian Data Mining

Data mining adalah proses yang mempekerjakan satu atau lebih teknik pembelajaran komputer (machine learning) untuk menganalisis dan mengekstraksi pengetahuan (knowledge) secara otomatis.

Macam-macam Teknik dan Sifat Data mining

Ada beberapa teknik dan sifat data mining yaitu sebagai berikut :

1. Classification (Predictive)
2. Clustering (Descriptive)
3. AssociationRule Discovery (Descriptive)
4. SequentialPattern Discovery (Descriptive)
5. Regression (Predictive)
6. DeviationDetection (Predictive)

Sumber gambar: dosenpendidikan.com

Baca Juga: Permasalahan Dalam Data Mining

Teknik Klasifikasi atau Classification (Predictive) pada Data Mining

Teknik Klasifikasi adalah menentukan sebuah record data baru ke salah satu dari beberapa katagori (atau klas] yang telah didefinisikan sebelumnya.Disebut juga dengan ‘supervised learning'. Berikut beberapa aplikasi dari klasifikasi :

1. Penjualan Langsung (Direct Marketing)
Tujuan: mengurangi costsurat menyurat dengan menentukan (targeting) satu set konsumen yang mempunyai kesamaan dalam membeli produk telepon selular baru.
Pendekatan:

• Gunakan data penjualan untuk suatu produk telepon selular.
• Kita mengetahui pelanggan yang memutuskan untuk membeli dan yang memutuskan untuk tidak membeli. Keputusan (buy, don’t buy} ini membentuk class attribute.
• Himpun bermacam demografi, gaya hidup dan company-interaction sehubungan dengan informasi mengenai pelanggan tertentu. Misalkan: Tipe bisnis, dimana .mereka tinggal, berapa banyak mereka membayar, dll. 
• Gunakan informasi tersebut sebagai atribut input untuk mempelajari suatu model klasifikasi.

Baca Juga: Model dan Struktur Data Warehouse pada Data Mining

2. Fraud Detection
Tujuan: Memprediksi kasus-kasus transaksi curang dengan menggunakan kartu kredit.
Pendekatan:

• Gunakan transaksi kartu kredit dan informasi pemegang kartu kredit sebagai atributnya Misalkan : Kapan seorang pelanggan membeli, apa yang dibeli apa selalu membayar tepat waktu, dsb.
• Beri label transaksi-transaksi sebelumnya sebagai transaksi ‘fraud’ atau 'fair' dan bentuk ini menjadi class attribute.
• Pelajari satu model untuk class transaksi tersebut.
• Gunakan model ini untuk mendeteksi kecurangan dengan mengobservasi transaksi kartu kredit tiap account.

3. CustomerAttrition/Churn:
Tujuan: Untuk memprediksi pelanggan mana yang akan berpindah ke competitor kita.
Pendekatan:

• Gunakan record transaksi dengan pelanggan yang lalu maupun yang sekarang untuk mendapatkan atribut, seperti : Seberapa sering pelanggan menghubungi, dimana dia menghubungi, pada hari apa dia paling sering menghubungi, status keuangannnya, status perkawinannya, dsb.
• Beri label pelanggan sebagai ‘setia’ atau ‘tidak setia'.
• Temukan suatu model untuk 'onalty’.

Read More

Permasalahan Dalam Data mining

Pengertian data Mining

Data mining adalah proses yang mempekerjakan satu atau lebih teknik pembelajaran komputer (machine learning) untuk menganalisis dan mengekstraksi pengetahuan (knowledge) secara otomatis.

Permasalahan Pada Data Mining

Sistem data mining berdasar pada basis data yang menyediakan data mentah dan ini memunculkan permasalahan dalam basis data yang cenderung dinamis, tidak lengkap, ber-noise dan besar. Permasalahan lain muncul sebagai akibat dari kecukupan dan relevansi dari informasi yang disimpan.

Sumber Gambar: ilmuskripi.com

Basis data seringkali didesain untuk tujuan yang berbeda dari data mining dan kadangkala properti atau atribut yang akan menyederhanakan pekerjaan pembelajaran tidak tersedia atau tidak dapat dimintai dari dunia nyata. Data yang tidak meyakinkan menyebabkan permasalahan karena jika ada atribut-atribut esensial bagi pengetahuan tentang domain aplikasi tidak ada dalam data tidak memungkinkan untuk menemukan pengetahuan yang tepat mengenai domain yang diberikan.Sebagai contoh, kita tidak dapat mendiagnosa malaria dari basis data pasien jika basis data tersebut tidak mengandung jumlah sel darah merah pasien.

Baca Juga: Model dan Struktur Data Warehouse pada Data Mining

Basis data biasanya dicemari oleh error sedemikian hingga tidak dapat diasumsikan bahwa data secara keseluruhan benar.Atribut-'atribut yang ada pada subyek atau pertimbangan ukuran dapat memunculkan kesalahan (error) sedemikian hingga beberapa contoh mungkin menjadi mis-klasifikasi.Error dalam salah satu nilai atribut atau informasi kelas dikenal sebagai noise. Secara nyata'ada kemungkinan kita perlu sekali untuk menghilangkan noise dari informasi klasifikasi saat hal ini mempengaruhi akurasi aturan yang dibangkitkan secara keseluruhan.

Data yang hilang dapat dibenahi dengan Sistem penemuan dalam berbagai cara, seperti :

1. Secara sederhana dengan mengabaikan nilai-nilai yang hilang.
2. Menghilangkan record yang berhubungan.
3. Menebak nilai yang hilang dari nilai-nilai yang diketahui.
4. Memperlakukan data .yang hilang sebagai sebuah nilai khusus yang dimasukkan sebagai tambahan dalam domain atribut. .
5. Atau menghitung rata-rata nilai yang hilang menggunakan teknik Bayesian.

Data yang mengandung noise dalam pengertian menjadi tidak teliti merupakan karakteristik dari semua koleksi data dan secara khus'us cocok untuk sebuah distribusi statistik biasa seperti Gaussian saat nilai-nilai yang salah merupakan kesalahan masukan data.
Ketidakjelasan (uncertainty) menunjuk kepada kepelikan error dan tingkat noise dalam data. Presisi data merupakan saah satu pertimbangan penting dalam sistem penemuan.

Baca Juga: Perbedaan Data Warehouse dan Sistem OLTP pada Data Mining

Basis data cenderung menjadi besar dan dinamis dalam hal isinya yang selalu berubah saat informasi ditambahkan, dimodifikasi atau dihapus. Permasalahan dalam hal ini dari sudut pandang data mining adalah bagaimana menjamin bahwa aturan-aturan tersebut up-to-date dan konsisten dengan informasi paling terkini. luga sistem pembelajaran mempunyai time-sensitive saat beberapa nilai data berubah terhadap waktu dan system penemuan dipengaruhi oleh ketepatan waktu dari data tersebut.

Read More

Model dan Struktur Data Warehouse Pada Data Mining

Pengertian Data Warehouse Data Mining

Data warehouse merupakan proses mengekstraksi dan mentransformasi data operasional kedalam data informasional dan memuatkan ke dalam sebuah toko atau gudang data terpusat. Data yang dimuat dapat diakses melalui desktop query dan alat analisis oleh pembuat keputusan.

Model Data Warehouse pada Data Mining

Model data warehouse digambarkan dalam diagram berikut ini :

Baca Juga: Perbedaan Data Warehouse dan Sistem OLTP pada Data Mining

Data dalam warehouse sendiri mempunayi suatu struktur yang berbeda dengan menekankan pada level peringkasan yang berbeda seperti ditunjukkan pada gambar berikut :

Data détail terkini merupakan pusat kepentingan sebagai :

1. Mencerminkan kejadian terkini yang biasanya paling menarik.
2. Data yang sangat besar disimpan pada level kecil.
3. Selalu disimpan pada penyimpanan disk yang cepat diakses tetapi mahal dan kompleks dalam pengelolaannya.

Detail data yang lebih lama disimpan pada beberapa bentuk penyimpanan massal, yang tidak terlalu sering diakses dan disimpan pada sebuah detil level dengan detil data terkini.

Baca Juga: Proses dalam Data Warehouse pada Data Mining

Data yang diringkas dengan jelas merupakan data yang disaring dari level detil rendah yang ditemukan pada level detil tertentu dan secara umum disimpan pada penyimpanan piringan (disk). Saat membangun gudang dat-a perlu mempertimbangkan unit waktu penyelesaian penarikan kesimpulan dan juga isi atau atribut dari ringkasan data.

Ringkasan data yang lebih tinggi padat dan mudah diakses dan dapat ditemukan diluar gudang.
Metadata adalah komponen akhir dari gudang data dan merupakan dimensi yang benar-benar berbeda yang tidak sama seperti data yang didapat dari lingkungan operasional tetapi digunakan sebagai:

1. Direktori untuk membantu analis DSS menemukan isi dari gudang data.
2. Pemandu untuk memetakan data saat data ditransformasikan dari lingkungan operasional ke lingkungan gudang data.
3. Pemandu algoritma- -algoritma yang digunakan untuk meringkas antara data detil terkini dan data ringkasan level bawah dan antara data ringkasan level rendah dengan data ringkasan level tinggi, dsb.

Struktur dasar ditunjukkan dalam diagram berikut :

Diagram tersebut diasumsikan pada tahun 1993 sehingga data detil terkini adalah 1992-93. Secara umum, data penjualan tidak mencapai level detil terkini untuk 24 jam selama menunggu sampai tidak tersedia lagi sistem operasional, yaitu diperlukan 24 jam untuk mengambil ke dalam gudang data. Detil penjualan diringkas setiap minggu berdasarkan -sub-pr0duk dan daerah untuk menghasilkan detil ringkasan level rendah. Penjualan mingguan kemudian diringkas lagi untuk menghasilkan data ringkasan level lebih tinggi.

Read More

Perbedaan Data Warehouse dan Sistem OLTP pada Data Mining

Pengertian Data Warehouse pada Data Mining

Data Warehouse atau Gudang data merupakan suatu sistem manajemen basisdata relasional (RDMS) yang didesain khusus untuk memenuhi kebutuhan akan sistem pengolahan transaksi.

Pengertian OLTP pada Data Mining

Dikutip dari kompasiana.com yang ditulis pada artikel tanggal 14 Mei 2013 Online Transaction Processing atau sering dikenal dengan OLTP adalah sistem yang berorientasi proses yang memproses transaksi secara langsung melalui komputer yang terhubung dalam jaringan. Misalnya biasa digunakan pada sebuah supermarket, kasir menggunakan mesin dalam proses transaksinya.

Baca Juga: Proses Dalam Data Warehouse pada Data Mining

Sebuah basisdata yang dibangun untuk pengolahan transaksi secara online (OLTP), secara umum dipandang tidak cocok untuk data warehouse dikanenakan mereka didesain dengan suatu kumpulan kebutuhan yang berbeda, yaitu memaksimalkan kapasitas transaksi dan secara khusus mempunyai ratusan tabel dalam urutan yang tidak membatasi user, dsb. Data warehouse dipandang dalam proses query sebagai lawan dari proses transaksi.

Sistem OLTP tidak dapat menjadi tempat penyimpanan dari data fakta dan histori untuk analisa bisnis.Sistem ini tidak dapat menjawab secara cepat query dan pengambilan kembali secara cepat hampir tidak mungkin. Data yang tidak konsisten dan berubah, duplikasi masukan yang ada, masukan yang hi-lang dan tidak adanya data histori yang diperlukan untuk menganalisa trend.Pada dasarnya OLTP menawarkan sejumlah besar data mentah yang tidak mudah dipahami.Data warehouse menawarkan kemampuan untuk mengambil kembali dan menganalisa informasi secara cepat dan mudah. Data warehouse mempunyai kesamaan dengan OLTP‘seperti terlihat pada tabel berikut :

Baca Juga: Karakteristik Data Warehouse pada Data Mining

Data warehouse melayani tujuan yang berbeda dari sistem OLTP dengan memperbolehkan analisa query sebagai jawaban terhadap "simple aggregation" seperti “bagaimana catatan keuangan dari kastemer ini?" Query data warehouse khusus meliputi seperti "produk yang bagaimana yang paling laku di Amerika tengah dan bagaimana korelasi terhadap data demografis?"

Read More

Proses Dalam Data Warehouse pada Data Mining

Pengertian Data Warehoause pada Data Mining

Data Warehouse didefinisikan sebagai tempat penyimpanan data terpusat yang dapat di-query untuk manfaat bisnis. Data warehousing merupakan teknik baru yang powerful yang membuatnya mungkin untuk mengekstrak data operasional yang diarsipkan dan mengatasi ketidakkonsistensian dari format-format data warisan yang berbeda.

Baca Juga: Karakteristik Data Warehouse pada Data Mining 

Sumber gambar: datawarehouse4u.info

Proses Data Warehouse pada Data Mining

Tahap pertama dalam data warehousing adalah menyekat informasi operasional sekarang Misalnya menjaga keamanan dan integrasi aplikasi 0LTP mission-critical saat kita mengakses basis data yang lebih luas. Hasil basisdata atau data warehouse mungkin menghabiskan ratusan gigabyte atau bahkan terabytes dari ruang disk. Apa yang diperlukan kemudian adalah teknik efisien untuk menyimfian dan mengambil kembali sejumlah informasi secara besar-besaran. Organisasi-organisasi yang besar menemukan bahwa hanya sistem pengolahan pararel memberikan bandWidth yang cukup.

Data warehouse mengambil kembali data dari bermacam basisdata operasional yang beraneka ragam. Data kemudian ditransformasikan dan dikirimkan ke data warehouse berdasarkan model yang dipilih (atau definisi pemetaan]. Proses transformasi dan perpindahan data yang dijalankan pada saat update data ke warehouse diperlukan sehingga seharusnya ada beberapa bentuk automatisasLuntuk mengatur dan menjalankan fungsi-fungsi ini. Informasi yang menggambarkan model dan definisi dari elemen data sumber disebut dengan “metadata”.Metadata diartikan sebagai bagaimana end-user menemukan dan memahami data dalam warehouse dan merupakan bagian penting dari warehouse tersebut.

Paling tidak,metadata harus terdiri dari :

1. Struktur data
2. Algoritma yang digunakan untuk meringkas (summary).
3. Dan pemetaan dari lingkungan operasional ke data warehouse.

Pembersihan data merupakan aspek penting dari pembuatan sebuah data warehouse yang efisien dalam hal menghilangkan aspek-aspek tertentu dari data operasional seperti informasi transaksi level rendah yang memperlambat waktu query. Tahap pembersihan harus dibuat sedinamis mungkin untuk mengakomodasi semua tipe query bahkan mungkin saat membutuhkan informasi level rendah. Data harus diekstrak dari sumber produksi pada interval yang tetap dan disatukan secara terpusat kecuali proses pembersihan untuk menghilangkan duplikasi dan beda rekonsil antara bermacam bentuk kumpulan data.

Baca Juga: Pengertian Gudang Data (Data WareHouse) pada Data Mining 

Setelah data dibersihkan kemudian ditransfer ke dalam data warehouse yang secara khusus merupakan sebuah basisdata yang besar pada sebuah kotak yang punya performasi tinggi seperti SMP (Symmetric Multi—Processing) atau MPP (Massively Parallel Processing). Iumlah kekuatan perekahan merupakan aspek penting lainnya dari data warehouse karena kompleksitas menjadi bagian dalam pengolahan query ad hoc dan kuantitas data yang luas yang ingin digunakan organisasi dalam warehouse. Suatu data warehouse dapat digunakan dalam berbagai cara misalkan digunakan sebagai pusat penyimpanan yang menghadapi pertanyaan-pertanyaan yang dijalankan atau digunakan seperti sebuah pasar data. Pasar data yang merupakan warehouse kecil dapat dibentuk untuk  menyediakan himpunan bagian dari toko utama dan meringkas informasi sesuai dengan kebutuhan dari kelompok atau departemen tertentu. Secara umum, pendekatan toko pusat menggunakan struktur data yang sangat sederhana dengan asumsi-asumsi yang sangat kecil mengenai hubungan antardata, padahal pasar sering menggunakan basisdata multidimensi yang dapat mempercepat proses query sebagaimana mereka dapat mempunyai struktur data yang mencerminkan sebagian besar pertanyaan-pertanyaan yang serupa. .

Banyak vendor mempunyai produk yang menyediakan satu atau lebih fungsi-fungsi data warehouse diatas. Meski begitu, dapat juga menggunakan sejumlah kerja-yang-penting dan pemrograman khusus untuk melengkapi kebutuhan operasional antar produk dari banyak vendor untuk memungkinkan mereka melakukan proses—proses data warehouse yang diperlukan. Implementasi khusus terdiri dari campuran produk—produk dari bermacam suplier.

Read More

Karakteristik Data Warehouse pada Data Mining

Pengertian Data Warehouse pada Data Mining

Data Warehouse merupakan suatu sistem manajemen basisdata relasional (RDMS) yang didesain khusus untuk memenuhi kebutuhan akan sistem pengolahan transaksi. Data Warehouse, secara bebas dapat didefinisikan sebagai tempat penyim'panan data terpusat yang dapat di-query untuk manfaat bisnis.

Baca Juga:  Operasi dan Tahapan Proses data Mining

Sumber gambar: present5.com

Karakteristik Data Warehouse pada Data Mining

Menurut Bill 'Inmon, pemilik Building the Data Warehouse dan ahli yang mendalami konsep data warehouse, ada empat karakteristik data warehouse,yaitu :

• Subject-oriented: Data diorganisasi menurut subyek dari aplikasi, misalnya sebuah perusahaan asuransi menggunakan data warehouse yang mengorganisasi data mereka sebagai kastemer, premi dan klaim, daripada dengan produk-produk berbeda (otomotif, jiwa, dsb). Data diatur oleh subjek yang hanya mengandung informasi yang diperlukan untuk pengolahan pendukung keputusan.
• Integrated: Ketika data menempati aplikasi-aplikasi yang terpisah dalam lingkungan operasional, pengkodean data seringkali tidak konsisten. Sebagai contoh, dalam satu aplikasi, jender mungkin dikodekan sebagai “m" ’dan “f", ada juga dengan 0 dan 1. Saat data dipindahkan dari lingkungan operasionalnya ke dalam data warehouse, mereka akanmengasumsikan suatu konvensi pengkodean dengan konsisten Misalnya data jender ditransformasi menjadi "m" dan "f".

Baca Juga: Pengertian Data Warehouse pada Data Mining

• Time-variant: Data warehouse terdiri dari suatu tempat untuk menyimpan data yang berusia 5 sampai 10 tahun atau lebih lama, untuk digunakan sebagai komparasi, trend dan peramalan. Data-data ini tidak di-update. 
• Non-volatile: Data yang tidak di-updatesesudah mereka memasukkan data warehouse, tetapi hanya dimuat dan diakses.

Read More

Pengertian Gudang Data (Data Warehouse) pada Data Mining

Pengertian Data Mining

Data mining adalah pembelajaran berbasis induksi (induction-based learning) adalah proses pembentukan definisi-definisi konsep umum yang dilakukan dengan cara mengobservasi contoh-contoh spesifik dari konsep-konsep yang akan dipelajari.

Data mining berisi pencarian trend atau pola yang diinginkan dalam database yang besar untuk membantu pengambilan keputusan di waktu yang akan datang. Harapannya, perangkat data mining mampu mengenali pola-pola ini dalam data dengan masukan yang minimal.Pola-pola ini dikenali oleh perangkat tertentu yang dapat memberikan suatu analisa data yang berguna dan berwawasan yang kemudian dapat dipelajari dengan lebih teliti, yang mungkin saja menggunakan perangkat pendukung keputusan yang lainnya.

Sumber Gambar: datawarehouse4u.info

Baca Juga: Definisi Data Mining

Pengertian data Warehouse pada Data Mining

Data mining berpotensi tinggi jika data yang tepat dikumpulkan dan disimpan dalam sebuah gudang data (data warehouse). Sebuah gudang data merupakan suatu sistem manajemen basisdata relasional (RDMS) yang didesain khusus untuk memenuhi kebutuhan akan sistem pengolahan transaksi. Data Warehouse, secara bebas dapat didefinisikan sebagai tempat penyim'panan data terpusat yang dapat di-query untuk manfaat bisnis. Data warehousing merupakan teknik baru yang powerful yang membuatnya mungkin untuk mengekstrak data operasional yang diarsipkan dan mengatasi ketidakkonsistensian dari format-format data warisan yang berbeda. Data warehouse baik untuk mengintegrasikan keseluruhan data sebuah perusahaan,tanpa memperhatikan lokasi, format atau kebutuhan komunikasi yang memungkinkan untuk memasukkan informasi tambahan atau ahli. Ini berarti menghubungkan secara logis antara apa yang dilihat oleh manajer dalam aplikasi 

Baca Juga: Operasi dan tahapan Proses Data Mining 

sistem informasi pendukung keputusan dan aktifitas operasional perusahaan. Dengan kata lain, data warehouse menyediakan data yang siap ditransformasi dan disimpulkan sedemikian hingga membuatnya sesuai untuk aplikasi DSS dan SIM yang lebih efisien.  Gudang data biasanya berisi data sejarah, terkumpul dari sumber yang berbeda-beda seperti sistem proses transaksi online — Online Data Transaction Processing (0LTP), system warisan, file-file teks dan spreadsheets. Pada data-tersebut kemudian dilakukan proses pembersihan untuk aku'rasi dan konsistensi dan mengelolanya untuk memudahkan dan efisiensi pada query.

Read More

Operasi dan Tahapan Proses Data Mining

Pengertian Data Mining

Data mining adalah proses yang mempekerjakan satu atau lebih teknik pembelajaran komputer (machine learning) untuk menganalisis dan mengekstraksi pengetahuan (knowledge) secara otomatis.

Operasi Data Mining

Operasi data mining menurut sifatnya dibedakan menjadi dua, yaitu bersifat :

1. Prediksi (prediction driven) untuk menjawab pertanyaan apa dan sesuatu yang bersifat remang-remang atau transparan.0perasi prediksi digunakan untuk validasi hipotesis, querying dan pelaporan (misal : spreadsheet dan pivot tabel), analisis multidimensi (dimensional summary); OLAP (Online Analytic Processing) serta analisis statistik.
2. Penemuan (discovery driven)bersifat transparan dan untuk menjawab pertanyaan “mengapa?". Operasi penemuan digunakan untuk analisis data eksplorasi, pemodelan prediktif, segmentasi database, analisis keterkaitan (link analysis) dan deteksi deviasi. 

Baca Juga: Definisi Data Mining

Tahapan Proses Data Mining

Tahapan proses dalam penggunaan data mining yang merupakan proses Knowledge Discovery in Databases (KDD) seperti yang terlihat pada Gambar 1.2 dapat diuraikan sebagai berikut :

• Memahami domain aplikasi untuk mengetahui dan menggali pengetahuan awal serta apa sasaran pengguna.
• Membuat target data-set yang meliputi pemilihan data dan fokus pada sub-set data.
• Pembersihan dan transformasi data meliputi eliminasi derau, outliers, missing value serta pemilihan fitur dan reduksi dimensi.
• Penggunaan algoritma data mining yang terdiri dari asosiasi, sekuensial, klasifikasi, klasterisasi. dll.
• Interpretasi. evaluasi dan visualisasi pola untuk melihat apakah ada sesuatu yang baru dan menarik dan dilakukan iterasi jika diperlukan.

Read More

Definisi Data Mining

Data mining merupakan suatu proses yang mempekerjakan satu atau lebih teknik pembelajaran komputer (machine learning) untuk menganalisis dan mengekstraksi pengetahuan (knowledge) secara otomatis.

Sumber gambar : itpro.co.uk

Selain itu Definisi lain dari data mining adalah suatu pembelajaran berbasis induksi (induction-based learning) yang merupakan proses pembentukan definisi-definisi konsep umum yang dilakukan dengan cara mengobservasi contoh-contoh spesifik dari konsep-konsep yang akan dipelajari. Knowledge Discovery in Databases (KDD) adalah penerapan metode saintifik pada data mining.Dalam konteks ini data mining merupakan satu langkah dari proses KDD.

Data mining merupakan proses iteratif dan interaktif untuk menemukan pola atau model baru yang sahih (sempurna), bermanfaat dan dapat dimengerti dalam suatu database yang sangat besar (massive databases).

• Sahih : Dapat digeneralisasi untuk masa yang akan datang.
• Baru : Apa yang sedang tidak diketahui.
• Bermanfaat : Dapat digunakan untuk melakukan suatu tindakan.
• lteratif : Memerlukan sejumlah proses yang diulang.
• Interaktif :Memerlukan interaksi manusia dalam prosesnya.

Data mining berisi pencarian trend atau pola yang diinginkan dalam database besar untuk membantu pengambilan keputusan di waktu yang akan datang. Pola-pola ini dikenali oleh perangkat tertentu yang dapat memberikan suatu analisa data yang berguna dan berwawasan yang kemudian dapat dipelajari dengan lebih teliti, yang mungkin saja menggunakan perangkat pendukung keputusan yang lainnya.

Contoh yang bukan Data mining adalah mencari nomor telp dalam direktori telepon atau query suatu Web search engine untuk informasi mengenai “Amazon”. Sedangkan yang termasuk dalam data mining adalah mencari nama-nama khusus yang lazim di lokasi tertentu seperti di US (O’Brien, o’Rurke, O’Reilly….di daerah Boston) dan mengelompokan dokumen-dokumen yang sama yang diperoleh dari seach engine menurut konteksnya (missal. Amazon rainforest, Amazon.com)

Read More