JATIMTIMES - Mahasiswa salah satu kampus swasta ternama di Kota Malang membuat sebuah inovasi yang cemerlang. Inovasi cemerlang yang dikembangkan mahasiswa bernama Nico Alexander ini adalah machine learning untuk mendeteksi dan mengklasifikasikan bahasa isyarat BISINDO.
Inovasi yang dikembangkan melalui judul penelitian "Penggunaan Machine Learning dalam Klasifikasi Bahasa Isyarat BISINDO menggunakan Kamera" ini, tentunya menjadi inovasi yang sangat ditunggu-tunggu. Sebab, inovasi ini akan memudahkan pemahaman atau penterjemahan bagi komunitas yang membutuhkan.
Baca Juga : Suarakan Anti Politik Dinasti, Aliansi Mahasiswa Indonesia Bersatu Gelar Aksi
Dalam penelitian ini, dikatakan Nico tidaklah mudah. Sebab, dalam prosesnya haruslah berkomunikasi dan berkolaborasi intens dengan tokoh bahasa isyarat di Kota Malang untuk membuat dataset yang akurat.
Dengan perangkat yang tersambung dengan kamera smartphone, maka akan dideteksi setiap pesan dari setiap gerakan tangan. Untuk itu, kemudian dikumpulkan data berupa foto tangan gerakan bahasa isyarat lalu melakukan ekstraksi koordinat dari foto-foto tersebut.
Dari koordinat tersebut, dihasilkan 21 landmarks pada setiap tangan dengan masing-masing landmark memiliki 3 subkoordinat (x, y, z), yang menghasilkan 63 subkoordinat untuk setiap tangan atau 126 subkoordinat secara keseluruhan.
Setelah subkoordinat didapat, maka hal ini dijadikan dasar sebagai data knowledge untuk pembelajaran machine learning. Data yang diproses kemudian menghasilkan data sebanyak 77.000 class yang kemudian difilter untuk menyesuaikan dengan 127 parameter pada setiap baris data. Hal ini kemudian dijadikan referensi pembelajaran AI.
"Total terdapat 77 kelas kata yang terdiri dari 10 gerakan numerik, 26 alphabet, dan kata-kata yang digunakan sehari-hari," jelasnya.
Dalam penelitian yang dilakukan selama lima bulan ini, tantangan utama yang dihadapi adalah lebih kepada evaluasi perbandingan antara beberapa model classifier. Selain itu juga yang menjadi tantangan adalah bagaimana untuk mempertahankan kemampuan optimal dari masing-masing classifier tanpa pengurangan ataupun penambahan.
Baca Juga : Bayar Jasa Pelet Rp 300 Ribu, Berakhir Tragis Jadi Korban Mutilasi Terapis Pijat
Jumlah data yang begitu banyak juga menjadi tantangan tersendiri. Namun masalah ini dapat diatasi setelah Nico membuat satu pemecahan program otomatis yang membuat pengolahan data semakin cepat.
Adanya gerakan bahasa isyarat yang mirip atau dinamis juga menjadi tantangan tersendiri. Hal inipun dapat diatasi dengan sedikit modifikasi yang dilakukan oleh Nico, sehingga gerakan dapat terdeteksi dengan akurat.
Sementara itu, proyek pengembangan teknologi machine learning yang digarap oleh Nico ini masih dalam tahapan prototipe. Saat ini, prototipenya telah selesai 70 hingga 80 persen dan akan terus dikembangkan.
Dalam proyek ini, Nico didampingi oleh kedua dosen pembimbingnya Prof Dr Eng Romy Budhi Widodo dan Windra Swastika, PhD, serta berkolaborasi dengan tokoh bahasa isyarat dari komunitas Gerkatin di Kota Malang.
