Tantangan dan Permasalahan Data Mining

Pengertian Data Mining

Data mining adalah proses yang mempekerjakan satu atau lebih teknik pembelajaran komputer (machine learning) untuk menganalisis dan mengekstraksi pengetahuan (knowledge) secara otomatis. Dengan perkembangan ilmu dan teknologi yang semakin pesat ini maka kita sering menjumpai implementasi atau penerapan data mining dilingkungan sekitar kita. Akan tetapi implementasi dari data mining tentu tidak bisa berjalan mulus, ada beberapa tantangan yang harus dihadapai dalam data mining

Baca Juga: Teknik Pencarian Pola Sekuensial (Sequence Mining) pada Data Mining

Tantangan Dalam Data mining

Tantangan dalam data mining meliputi :

1. Scalability, yaitu besarnya ukuran basis data yang digunakan.
2. Dimensionality, yaitu banyaknya jumlah atribut dalam data yang akan diproses.
3. Complex and Heterogeneous Data, yaitu data yang kompleks dan mempunyai variasi yang beragam.
4. Data'QuaIity, kualitas data yang akan diproses seperti data yang bersih dari noise, missing value, dsb.
5. Data Ownership and Distribution, yaitu siapa yang memiliki data dan bagaimana distribusinya.
6. Privacy Preservation, yaitu menjaga kerahasiaan data yang banyak diterapkan pada data nasabah perbankan.
7. Streaming Data, yaitu aliran data itu sendiri.

Baca Juga: Teknik Kaidah Asosisasi(association rules Discovery/Descriptive) pada Data Mining

Permasalahan Dalam Data mining

Sistem data mining berdasar pada basis data yang menyediakan data mentah dan ini memunculkan permasalahan dalam basis data yang cenderung dinamis, tidak lengkap, ber-noise dan besar. Permasalahan lain muncul sebagai akibat dari kecukupan dan relevansi dari informasi yang disimpan.

Basis data seringkali didesain untuk tujuan yang berbeda dari data mining dan kadangkala properti atau atribut yang akan menyederhanakan pekerjaan pembelajaran tidak tersedia atau tidak dapat dimintai dari dunia nyata. Data yang tidak meyakinkan menyebabkan permasalahan karena jika ada atribut-atribut esensial bagi pengetahuan tentang domain aplikasi tidak ada dalam data tidak memungkinkan untuk menemukan pengetahuan yang tepat mengenai domain yang diberikan.

Read More

Teknik Pencarian Pola Sekuensial (Sequence Mining) pada Data Mining

Pengertian Data Mining

Data mining adalah proses yang mempekerjakan satu atau lebih teknik pembelajaran komputer (machine learning) untuk menganalisis dan mengekstraksi pengetahuan (knowledge) secara otomatis.
Setelah sebelumnya membahas tentang Teknik Kaidah Asosisasi(association rules Discovery/Descriptive) pada Data Mining, pada pembahasan kali ini Tutorial Komputer akan membahas tentang salah satu teknik lagi yang ada di dalam data mining. Kita tahu bahwa ada banyak teknik yang bisa digunakan dalam data mining yang meliputi: Classification/Predictive, Clustering/Descriptive, Association Rule Discovery/Descriptive, Sequential Pattern Discovery/Descriptive, Regression/Predictive, dan DeviationDetection/Predictive. Akan tetapi teknik yang akan kita bahas kali ini adalah tentang teknik teknik Pencarian pola sekuensial (Sequence Mining).

Baca Juga: Teknik Kaidah Asosisasi(association rules Discovery/Descriptive) pada Data Mining

Pengertian teknik Pencarian pola sekuensial (Sequence Mining) pada Data Mining

Pencarian pola sekuensial (Sequence Mining) adalah Mencari sejumlah event yang secara umum terjadi bersama-sama. Contoh, dalam satu set urutan DNA, ACGTC diikuti oleh‘GTCA setelah suatu celah selebar 9 dengan probabilitas sebesar 30.%.

Jika diberikan sekumpulan obyek, dengan masing-masing obyek dihubungkan dengan waktu kejadiannya maka dapatkan pola yang memprediksi ketergantungan sekuensial. (sequential dependencies) yang kuat diantara kejadian-kejadian yang berbeda.
(A B)   (C) -> (D    E)

Baca Juga: Teknik Klasterisasi/clustering dan Aplikasinya pada Data Mining

Pola-pola sekuensial pertama, pada dasarnya dibentuk dengan cara mencari semua kemungkinan pola yang ada. Nilai-nilai kejadian dalam pola diatur berdasarkan urutan waktu kejadian.
(A B) (C) (D  E)

Read More

Teknik Kaidah Asosisasi(association rules Discovery/Descriptive) pada Data Mining

Setelah sebelumnya membahas tentang teknik klasterisasi pada data mining, pada pembahasan kali ini Tutorial Komputer akan membahas tentang salah satu teknik lagi yang ada di dalam data mining. Kita tahu bahwa ada banyak teknik yang bisa digunakan dalam data mining yang meliputi: Classification/Predictive, Clustering/Descriptive, Association Rule Discovery/Descriptive, SequentialPattern Discovery/Descriptive, Regression/Predictive, dan DeviationDetection/Predictive. Akan tetapi teknik yang akan kita bahas kali ini adalah tentang teknik klasterisasi atau clustering.

Pengertian Teknik Kaidah Asosisasi (association rules) pada Data Mining

Teknik Kaidah Asosisasi(association rules Discovery/Descriptive) adalah dengan mendeteksi kumpulan atribut-atribut yang muncul bersamaan (co-occur) dalam frekuensi yang sering, dan membentuk sejumlah kaidah dari kumpulan-kumpulan tersebut. Contoh : 90% orang yang berbelanja di suatu supermarket yang membeli roti juga membeli selai, dan 60% dari semua orang yang berbelanja membeli keduanya.

Jika diberikan sekumpulan record yang masing-masing terdiri dari sejumlah item dari kumpulan yang diberikan;Akan menghasilkan aturan ketergantungan (dependency rules) yang akan memprediksi kejadian dari satu item berdasarkan kejadian item lainnya.

Baca Juga: Teknik Klasterisasi/clustering dan Aplikasinya pada Data Mining

Aplikasi pada Teknik Kaidah Asosisasi(association rules Discovery/Descriptive)

Contoh aplikasi kaidah asosiasi adalah sebagai berikut:
1. Marketing and Sales Promotion:
Misalkan diketahui aturan ketergantungan dimana
{Bagels, } --> {Potato Chips}
Potato Chips Sebagai Consequent => dapat digunakan untuk menentukan apa yang dapat dilakukan untuk meningkatkan penjualan.
Bagels in the antacedent => Dapat digunakan untuk melihat produk mana yang akan terkena dampak jika toko tersebut tidak lagi menjual bagels.

Bagels in antecedent and potato chips in concequenst => Dapat digunakan untuk melihat produk apa yang harus dijual dengan bagels untuk mempromosikan penjualan Potato chips!

Baca Juga: Teknik Regresi (Regression/Predictive) pada Data Mining

2. Supermarket shelf management
Tujuan: Untuk mengenali item-item yang dibeli bersama-sama oleh cukup banyak pelanggan.
Pendekatan : Memproses data point-of-sale yang dikumpulk-an dengan pemindai barcode untuk menemukan ketergan’cungan antar-item.
Aturan klasik -- Jika seorang pelanggan membeli diaper dan susu maka dia juga akan membeli beer.Sehingga jangan kaget jika Anda akan menemukan enam pak beeryang ditumpuk dekat diapers!

3. Inventory Management
Tujuan: Seorang pelanggan perusahaan perbaikan peralatan mengharapkan keaslian dari perbaikan produk konsumen dan menjaga pelayanan dengan menggunakan suku cadang yang baik untuk mengurangi jumlah kunjungan ke rumah pelanggan.
Pendekatan: Memproses data peralatan dan suku cadang yang dibutuhkan pada perbaikan sebelumnya di tempat pelanggan yang berbeda dan menemukan pola-pola kejadian yang berulang.

Read More

Teknik Klasterisasi/clustering dan Aplikasinya pada Data Mining

Pada pembahasan kali ini Tutorial Komputer akan membahas tentang salah satu teknik dalam data mining. Kita tahu bahwa ada banyak teknik yang bisa digunakan dalam data mining yang meliputi: Classification/Predictive, Clustering/Descriptive, AssociationRule Discovery/Descriptive, SequentialPattern Discovery/Descriptive, Regression/Predictive, dan DeviationDetection/Predictive. Teknik yang akan kita bahas kali ini adalah tentang teknik klasterisasi atau clustering.

Teknik Klasterisasi (clustering) pada Data Mining

Mempartisi data-set menjadi beberapa sub-set atau kelompok sedemikian rupa sehingga elemen-elemen dari suatu kelompok tertentu memiliki set properti yang dishare bersama, dg tingkat similaritas yang tinggi dalam satu kelompok dan tingkat similaritas antar kelompok yang rendah.Disebut juga dengan ‘unsupervised learning’.

Baca Juga: Teknik Regresi (Regression/Predictive) pada Data Mining

Jika diberikan sejumlah titik data yang masing-masing mempunyai sejumlah atribut, dan dengan menggunakan satu ukuran similaritas, dapat ditemukan klaster-klaster sedemikian hingga :

• Titik-titik data dalam satu klaster mempunyai similaritas yang lebih besar.
• Titik-titik data dalam klaster yang berbeda mempunyai similaritas yang kecil.

Ukuran similaritas yang digunakan

• Euclidean Distance jika atributnya kontinyu.
• Permasalahan lain — ukuran tertentu .

Baca Juga: Teknik Klasifikasi(Classification/Predictive) pada Data mining

Aplikasi dari klasterisasi diantaranya adalah :

1. Market Segmentation:
Tujuan: Membagi pasar kedalam sub-set pelanggan yang berbeda, dim-ana suatu sub-set mungkin dapat dipilih sebagai target pasar yang dicapai dengan satu kombinasi pemasaran yang berbeda.
Pendekatan:

1. Kumpulkan atribut dari pelanggan yang berbeda ber‘dasarkan pada informasi tempat tinggal dap gaya hidup.
2. Tentukan klaster dari pelanggan-pelanggan yang sama.
3. Hitung kualitas klaster dengan mengobservasi pola daya beli pelanggan pada klaster yang samaversus dari klaster yang berbeda.

2. Document Clustering:
Tujuan: Untuk mendapatkan kelompok dokumen yang mempunyai kesamaan berdasarkan  pernyataan atau kata-kata penting yang muncul dalam dokumen tersebut.
Pendekatan:

1. Untuk mengenali kata-kata yang sering muncul dalam tiap dokumen. Dari suatu pengukuran similaritas yang didasarkan pada frekuensi term yang berbeda.
2. Gunakan pengukuran ini untuk membentuk klaster-klaster

Pencapaian: Information Retrieval dapat dimanfaatkan untuk menghubungkan suatu dokumen baru atau mencari term ke dokumen-dokumen yang diklaster.

Read More

Teknik Regresi (Regression/Predictive) pada Data Mining

Pengertian Data Mining

Data mining merupakan proses yang mempekerjakan satu atau lebih teknik pembelajaran komputer (machine learning) untuk menganalisis dan mengekstraksi pengetahuan (knowledge) secara otomatis. Pada artikel sebelumnya di www.teorikomputer.com kami membahas tentang teknik klasifikasi pada data mining. Pada pembahasan kali ini akan kami sampaikan salah satu teknik pada data mining yaitu teknik regresi. Sebelum kita membahas teknik regresi pada data mining kita terlebih dahulu harus tahu macam-macam teknik dan sifat data mining.

Sumber gambar: ittelkom-pwt.ac.id

Baca Juga: Teknik Klasifikasi (Classification /Predictive) pada Data Mining

Macam-macam Teknik dan Sifat Data mining

Ada beberapa teknik dan sifat data mining yaitu sebagai berikut :

1. Classification (Predictive)
2. Clustering (Descriptive)
3. AssociationRule Discovery (Descriptive)
4. SequentialPattern Discovery (Descriptive)
5. Regression (Predictive)
6. DeviationDetection (Predictive)

Baca Juga: Permsalahan Dalam Data Mining

Teknik Regresi(Predictive) dan aplikasinya pada Data Mining

Teknik Regresi dilakukan dengan memprediksi nilai dari suatu variabel kontinyu yang diberikan berdasarkan nilai dari variabel yang lain, dengan mengasumsikan sebuah model ketergantungan linier atau nonlinier. Teknik ini banyak dipelajari dalam statistika, bidang jaringan saraf tiruan (neural network).

Contoh aplikasinya: 

• Memprediksi jumlah penjualan produk baru berdasarkan pada belanja promosi/iklan. 
• Memprediksi kecepatan angin sebagai suatu fungsi suhu, kelembaban, tekanan udara, dsb.
• Time series prediction dari indeks stock market.

Read More

Teknik Klasifikasi(Classification/Predictive) pada Data mining

Pengertian Data Mining

Data mining adalah proses yang mempekerjakan satu atau lebih teknik pembelajaran komputer (machine learning) untuk menganalisis dan mengekstraksi pengetahuan (knowledge) secara otomatis.

Macam-macam Teknik dan Sifat Data mining

Ada beberapa teknik dan sifat data mining yaitu sebagai berikut :

1. Classification (Predictive)
2. Clustering (Descriptive)
3. AssociationRule Discovery (Descriptive)
4. SequentialPattern Discovery (Descriptive)
5. Regression (Predictive)
6. DeviationDetection (Predictive)

Sumber gambar: dosenpendidikan.com

Baca Juga: Permasalahan Dalam Data Mining

Teknik Klasifikasi atau Classification (Predictive) pada Data Mining

Teknik Klasifikasi adalah menentukan sebuah record data baru ke salah satu dari beberapa katagori (atau klas] yang telah didefinisikan sebelumnya.Disebut juga dengan ‘supervised learning'. Berikut beberapa aplikasi dari klasifikasi :

1. Penjualan Langsung (Direct Marketing)
Tujuan: mengurangi costsurat menyurat dengan menentukan (targeting) satu set konsumen yang mempunyai kesamaan dalam membeli produk telepon selular baru.
Pendekatan:

• Gunakan data penjualan untuk suatu produk telepon selular.
• Kita mengetahui pelanggan yang memutuskan untuk membeli dan yang memutuskan untuk tidak membeli. Keputusan (buy, don’t buy} ini membentuk class attribute.
• Himpun bermacam demografi, gaya hidup dan company-interaction sehubungan dengan informasi mengenai pelanggan tertentu. Misalkan: Tipe bisnis, dimana .mereka tinggal, berapa banyak mereka membayar, dll. 
• Gunakan informasi tersebut sebagai atribut input untuk mempelajari suatu model klasifikasi.

Baca Juga: Model dan Struktur Data Warehouse pada Data Mining

2. Fraud Detection
Tujuan: Memprediksi kasus-kasus transaksi curang dengan menggunakan kartu kredit.
Pendekatan:

• Gunakan transaksi kartu kredit dan informasi pemegang kartu kredit sebagai atributnya Misalkan : Kapan seorang pelanggan membeli, apa yang dibeli apa selalu membayar tepat waktu, dsb.
• Beri label transaksi-transaksi sebelumnya sebagai transaksi ‘fraud’ atau 'fair' dan bentuk ini menjadi class attribute.
• Pelajari satu model untuk class transaksi tersebut.
• Gunakan model ini untuk mendeteksi kecurangan dengan mengobservasi transaksi kartu kredit tiap account.

3. CustomerAttrition/Churn:
Tujuan: Untuk memprediksi pelanggan mana yang akan berpindah ke competitor kita.
Pendekatan:

• Gunakan record transaksi dengan pelanggan yang lalu maupun yang sekarang untuk mendapatkan atribut, seperti : Seberapa sering pelanggan menghubungi, dimana dia menghubungi, pada hari apa dia paling sering menghubungi, status keuangannnya, status perkawinannya, dsb.
• Beri label pelanggan sebagai ‘setia’ atau ‘tidak setia'.
• Temukan suatu model untuk 'onalty’.

Read More

Permasalahan Dalam Data mining

Pengertian data Mining

Data mining adalah proses yang mempekerjakan satu atau lebih teknik pembelajaran komputer (machine learning) untuk menganalisis dan mengekstraksi pengetahuan (knowledge) secara otomatis.

Permasalahan Pada Data Mining

Sistem data mining berdasar pada basis data yang menyediakan data mentah dan ini memunculkan permasalahan dalam basis data yang cenderung dinamis, tidak lengkap, ber-noise dan besar. Permasalahan lain muncul sebagai akibat dari kecukupan dan relevansi dari informasi yang disimpan.

Sumber Gambar: ilmuskripi.com

Basis data seringkali didesain untuk tujuan yang berbeda dari data mining dan kadangkala properti atau atribut yang akan menyederhanakan pekerjaan pembelajaran tidak tersedia atau tidak dapat dimintai dari dunia nyata. Data yang tidak meyakinkan menyebabkan permasalahan karena jika ada atribut-atribut esensial bagi pengetahuan tentang domain aplikasi tidak ada dalam data tidak memungkinkan untuk menemukan pengetahuan yang tepat mengenai domain yang diberikan.Sebagai contoh, kita tidak dapat mendiagnosa malaria dari basis data pasien jika basis data tersebut tidak mengandung jumlah sel darah merah pasien.

Baca Juga: Model dan Struktur Data Warehouse pada Data Mining

Basis data biasanya dicemari oleh error sedemikian hingga tidak dapat diasumsikan bahwa data secara keseluruhan benar.Atribut-'atribut yang ada pada subyek atau pertimbangan ukuran dapat memunculkan kesalahan (error) sedemikian hingga beberapa contoh mungkin menjadi mis-klasifikasi.Error dalam salah satu nilai atribut atau informasi kelas dikenal sebagai noise. Secara nyata'ada kemungkinan kita perlu sekali untuk menghilangkan noise dari informasi klasifikasi saat hal ini mempengaruhi akurasi aturan yang dibangkitkan secara keseluruhan.

Data yang hilang dapat dibenahi dengan Sistem penemuan dalam berbagai cara, seperti :

1. Secara sederhana dengan mengabaikan nilai-nilai yang hilang.
2. Menghilangkan record yang berhubungan.
3. Menebak nilai yang hilang dari nilai-nilai yang diketahui.
4. Memperlakukan data .yang hilang sebagai sebuah nilai khusus yang dimasukkan sebagai tambahan dalam domain atribut. .
5. Atau menghitung rata-rata nilai yang hilang menggunakan teknik Bayesian.

Data yang mengandung noise dalam pengertian menjadi tidak teliti merupakan karakteristik dari semua koleksi data dan secara khus'us cocok untuk sebuah distribusi statistik biasa seperti Gaussian saat nilai-nilai yang salah merupakan kesalahan masukan data.
Ketidakjelasan (uncertainty) menunjuk kepada kepelikan error dan tingkat noise dalam data. Presisi data merupakan saah satu pertimbangan penting dalam sistem penemuan.

Baca Juga: Perbedaan Data Warehouse dan Sistem OLTP pada Data Mining

Basis data cenderung menjadi besar dan dinamis dalam hal isinya yang selalu berubah saat informasi ditambahkan, dimodifikasi atau dihapus. Permasalahan dalam hal ini dari sudut pandang data mining adalah bagaimana menjamin bahwa aturan-aturan tersebut up-to-date dan konsisten dengan informasi paling terkini. luga sistem pembelajaran mempunyai time-sensitive saat beberapa nilai data berubah terhadap waktu dan system penemuan dipengaruhi oleh ketepatan waktu dari data tersebut.

Read More