Review Paper : Pembobotan Adaptive pada Naive Bayes Classification - Elang Sakti
Download Ebook Belajar Arduino PDF, Arduino untuk pemula
Jasa Pembuatan Program Arduino, pemrograman Arduino
# Hack Your Skills! to be Professional Mechatronics

Review Paper : Pembobotan Adaptive pada Naive Bayes Classification

Tidak ada komentar

Judul Paper : Self-adaptive Attribute Weighting for Naive Bayes Classification
Jurnal      : Expert Systems with Applications
Vol, Hal.   : Vol 42 (2015), Hal. 1487-1502
Tahun       : 2014
Penulis     : Jia Wu, Shirui Pan, Xingquan Zhu, Zhihua Cai, Peng Zhang, Chengqi Zhang

1. Overview

Naive Bayes merupakan algoritma pembelajaran untuk klasifikasi dengan efisiensi komputasi dan akurasi yang baik, khususnya untuk dimensi dan jumlah data yang besar. Akan tetapi performa algoritma ini akan menurun ketika antar atribut tidak memiliki keterkaitan satu sama lain. Beberapa solusi untuk menyelesaikan permasalahan ini yaitu dengan structure extension, pemilihan atribut, pembobotan pada masing-masing atribut, instance weighting, pembelajaran lokal, dan sebagainya. Dalam paper tersebut, penulis membahas teknik pembobotan (Weighting) atribut pada klasifikasi Naive Bayes (NB) dengan menggunakan Artificial Immune System (AIS), disingkat AISWNB.

Metode ini digunakan untuk menghitung bobot optimal antar atribut, yaitu penentuan bobot secara mandiri dalam menentukan independensi atribut sehingga probabilitas masing-masing atribut bisa ditentukan dengan lebih akurat. Keunggulan dari metode ini yaitu mampu menyesuaikan bobot berdasarkan atribut secara mandiri karena metode ini mengadopsi cara kerja sistem imun, yaitu melalui proses penggandaan diri, pembelahan, mutasi, dan memory. Metode ini mampu memilih bobot yang baik selama proses pembelajaran sehingga performa Naive Bayes dapat ditingkatkan. Penelitian dilakukan dengan membandingkan 36 jenis data pembelajaran dalam mengklasifikasikan 6 kelompok gambar. Hasil penelitian ini yaitu performa, akurasi, dan estimasi probabilitas Naive Bayes lebih bagus daripada metode-metode lainnya.

2.    Background

Perbaikan metode klasifikasi Naive Bayes dengan menggunakan bobot pada setiap kelas atau atributnya akan membuat performa semakin baik. Akan tetapi pemilihan bobot untuk masing-masing atribut masih ditentukan dengan bilangan random antara 0 dan 1. Dengan demikian, peneliti bermaksud untuk membuat sistem yang dapat memilih sendiri bobot dan dapat menyesuaikan dengan kondisi data training yang disediakan sehingga bobot yang digunakan adalah bobot yang optimal.

3. Metode

Paper ini difokuskan untuk membahas tentang algoritma untuk menentukan bobot terbaik sehingga meningkatkan performa dari pengklasifikasian dengan metode Naive Bayes. Model standar metode klasifikasi Naive Bayes (1) dan metode Naive Bayes yang menggunakan bobot pada masing-masing atribut (2) yaitu :
Rumus standar algoritma naive bayes classification
(1)
Rumus standar algoritma naive bayes classification dengan bobot
(2)
Dimana c menunjukkan kelas klasifikasi, P(ck) menunjukkan probabilitas seluruh data training kelas ck, P(xt.j | ck) menunjukkan probabilitas kondisional masing-masing atribut, dan wj merupakan bobot untuk masing-masing atribut.

Pendefinisian NB dalam AIS
Penentuan bobot optimal ditentukan berdasarkan hasil dari proses training pada AIS. Dalam hal ini, berikut tabel korelasi antara komponen dalam AIS dan metode AISWNB:

AIS                 AISWNB
Antibody            w, bobot masing-masing atribut
Antigen             Data set training
Shape-space         Probabilitas data
Affinity            Nilai fitnes antara bobot dan atribut
Clonal Expansion    Duplikasi bobot yang cocok dengan antigen
Affinity Maturation Mutasi dan pembersihan bobot yang tidak sesuai
Immune Memory       Memori pada masing-masing bobot, bobot terbaik

Bobot masing-masing atribut diibaratkan sebagai antibodi W sejumlah L, W = {w1, w2, … wL}, dimana masing-masing w menunjukkan satu buah antibodi wi = {wi,1, … wi,j} dengan j adalah nilai ke j dalam antibodi wi.
•    Data set training diibaratkan sebagai antigen Da = {x1a, …, xNaa }, dengan Na merupakan jumlah antigen. Sedangkan x1a menunjukkan sebuah antigen.
•    Affinity merupakan nilai yang menunjukkan keterkaitan antara antibodi dan antigen. Affinity dihitung dengan ACC, AUC, atau CLL untuk mengetahui keakuratan metode. Nilai afinitas dihitung dengan rumus:

rumus untuk mencari afinitas pada masing-masing bobot naive bayes
(3)
Dengan c(xia) adalah klasifikasi masing-masing atribut pada dataset ke i sejumlah Nb. xib merupakan label atribut ke i.   bernilai 1 jika c(xib)= yib, dan bernilai 0 jika tidak sama.
•    Immune memory atau memory cell adalah antibodi yang memiliki afinitas (affinity) yang paling baik terhadap antigen.
•    Clonal expansion ditentukan denan clone rate, yaitu laju penggandaan antibody yang memiliki afinitas yang bagus. Antibodi yang cocok dengan antigen akan digandakan hingga jumlah antibodi sama dengan jumlah antigen.
•    Affinity maturation ditentukan oleh mutation rate, yaitu laju mutasi yang ditentukan dengan angka antara 0 dan 1 yang menunjukkan probalilitas mutasi pada masing-masing antibodi. Jika probabilitasnya tinggi, maka antibodi tidak akan melakukan mutasi, dan sebaliknya. Proses mutasi ditentukan dengan rumus:

rumus untuk mutasi naive bayes dalam artificial immune system
(4)
dimana variabel vit+1 merupakan individu baru, wct adalah individu hasil clone, wit adalah induk pada generasi ke i. Nilai N tentukan dengan acak antara 0 dan 1. Sedangkan nilai F adalah nilai variation factor selama proses evolusi yang dihitung dengan rumus:

rumus untuk mencari nilai variation pada anak hasil mutasi
(5)
dimana f[wit] adalah nilai afinitas untuk masing-masing individu antibodi.

Konsep dan Algortima AISWNB

Konsep dasar dari AISWNB (lihat Gambar 1) yaitu: Awalnya antibodi (bobot atribut, w) dibangkitkan sehingga terbentuk populasi awal. Antibody akan dicocokkan dengan antigen (atribut kelas) berdasarkan nilai afinitas masing-masing antibodi. Setelah itu sistem akan memilih antibodi (bobot) yang memiliki afinitas yang bagus (a) dan menggandakannya (b) untuk menggantikan antibodi yang memiliki nilai afinitas yang jelek (c). Setelah itu antibodi akan dimutasi untuk mendapatkan antibodi yang lebih baik dan memiliki memory tentang antigen (d). Setelah itu antibodi yang bagus dalam populasi hasil mutasi akan menggantikan antibodi yang kurang bagus pada populasi sebelumnya (e). Setelah proses tersebut, akan didapatkan antibodi (bobot optimal) yang memiliki afinitas yang bagus terhadap antigen.

Pencarian bobot Naive Bayes dengan metode Artificial Immune System (AIS)
Pencarian bobot Naive Bayes dengan metode Artificial Immune System (AIS)
 Pseudocode algoritma AISWNB adalah sebagai berikut:

Pseudocode algoritma self-adaptive Naive Bayes dengan AIS
Pseudocode algoritma self-adaptive Naive Bayes dengan AIS
Eksperimen
Eksperimen dilakukan dengan aplikasi WEKA dengan 36 jenis data pembelajaran yang didapatkan dari UCI dan 6 jenis gambar yang diambil dari aplikasi corel. Kemudian metode ini dibandingkan dengan beberapa versi dari metode Naive Bayes lainnya. Metode-metode tersebut adalah :
  • NB, Naive Bayes versi standar.
  • CFSWNB, Naive Bayes dengan pembobotan atribut menggunakan korelasi.
  • GRWNB, Naive Bayes dengan pembobotan atribut menggunakan gain ratio.
  • MIWNB, Naive Bayes dengan pembobotan atribut menggunakan mutual information.
  • ReFWNB, Naive Bayes dengan pembobotan atribut menggunakan atribut estimation.
  • TreeWNB, Naive Bayes dengan pembobotan berdasarkan tingkat kebergantungan setiap atribut.
  • SBC, Naive Bayes dengan pemilihan atribut berdasarkan decision tree.
  • RMWNB, Naive Bayes dengan pembototan atribut yang dipilih dengan random antara 0 dan 1.
Eksperimen dilakukan pada komputer cluster berbasis linux dengan spesifikasi processor Intel(R) Xeon(R) @3.33GHz dan dengan RAM 3GB. Berikut ini adalah tabel data yang diambil dari UCI dan gambar yang diambil dari aplikasi corel.

UCI data untuk eksperimen pengetesan performa AISWNB
UCI data untuk eksperimen pengetesan performa AISWNB

Data gambar dari corel draw untuk eksperimen pengetesan performa AISWNB
Data gambar dari corel draw untuk eksperimen pengetesan performa AISWNB

4.    Hasil dan Kesimpulan

Berikut ini adalah tabel hasil eksperimen dari perbandingan algoritma IASWNB dengan algoritma lainnya yang dihitung dengan AUC:

Tabel hasil perhitungan nilai AUC AISWNB dan algoritma lainnya
Tabel hasil perhitungan nilai AUC AISWNB dan algoritma lainnya
Grafik perhitungan nilai AUC AISWNB dan algoritma lainnya
Grafik perhitungan nilai AUC AISWNB dan algoritma lainnya
Berdasarkan hasil perhitungan dan perbandingan dengan metode-metode lainnya, metode AISWNB memiliki performa yang lebih dalam hal konvergensi. Hal tersebut disebabkan karena bobot yang digunakan sudah dipilih yang paling optimal dengan menggunakan metode Artificial Immune System. Integrasi AIS pada metode klasifikasi Naive Bayes menjadikan algotritma ini dapat menentukan sendiri bobot yang optimal sehingga meningkatkan kinerja dari algoritma tersebut.

Catatan: Tulisan review ini adalah pertama kali saya mereview paper, jadi pasti banyak kekurangan.. :D

Written by ElangSakti
Review Paper : Pembobotan Adaptive pada Naive Bayes Classification
Bahasan: Judul Paper : Self-adaptive Attribute Weighting for Naive Bayes Classification Jurnal : Expert Systems with Applications Vol, Hal. :...
Published at Kamis, 25 Desember 2014, Updated at Kamis, 25 Desember 2014
Reviewed by dr. on
Rating: 4.7

Tidak ada komentar :

Posting Komentar