Identifikasi Emosi Melalui Sinyal EEG menggunakan 3D-Convolutional Neural Network

ABSTRAK Emosi memberikan peran penting dalam interaksi manusia yang didapat melalui respon yang tepat. Respon yang tak tepat menunjukan adanya gangguan mental sehingga diperlukan identifikasi emosi. Identifikasi dapat dilakukan menggunakan aktivitas sinyal listrik di otak menggunakan Elektroensephalogram (EEG). Karena sinyal EEG pada setiap kanal merupakan urutan data maka dijadikan multi-kanal yang direpresentasikan pada matriks agar urutan-urutan data tetap terjaga. Penggunaan matriks memadukan informasi dari ketiga dimensi (kanal x frekuensi x waktu) dapat menggambarkan kompleksitas dari sinyal EEG. Sehingga dapat mengenali pola aktivitas otak pada rentang frekuensi tertentu berkembang sepanjang waktu. Untuk menangkap informasi tersebut perlu dilakukan ekstraksi fitur agar mewakili variabel-variabel emosi. Ekstraksi dilakukan pada domain frekuensi (4-45 Hz) dan waktu menggunakan Short Time Fourier Transform (STFT) kemudian idenitifikasi menggunakan 3D Convolutional Neural Network (CNN). Eksperimen menggunakan 3D CNN menghasilkan akurasi 65.45 dengan teknik koreksi bobot Adamax. Kata kunci: emosi, sinyal EEG, multi-kanal, STFT, 3D-CNN ABSTRACT Emotions play an important role in human interaction through appropriate responses. Inappropriate responses indicate a mental disorder, so identification of emotions is required. Identification can be done using electrical signal activity in the brain with Electroencephalogram (EEG). Because the EEG signal in each channel is a data sequence, it is made into a multi-channel represented in a matrix so that the data sequence is maintained. Using a matrix combining information from all three dimensions (channel x frequency x time) can describe the complexity of the EEG signal. Allowing recognition of evolving brain activity patterns within specific frequency ranges over time. Extraction is done in the frequency domain (4-45 Hz) and time using Short Time Fourier Transform (STFT), then identification using a 3D Convolutional Neural Network (CNN). Experiments using 3D CNN resulted in an accuracy of 65.45 with the Adamax weight correction technique. Keywords: emotion, EEG signal, multi-channel, STFT, 3D-CNN