Article Sidebar
Main Article Content
Abstract
Image Captioning adalah proses untuk memproduksi teks deskripsi dari suatu gambar secara otomatis. Penggunaan image captioning dapat diaplikasikan ke banyak bidang seperti virtual assistant, image indexing, social media, dan berbagai macam aplikasi yang memanfaatkan Natural Language Processing. Image captioning memiliki banyak manfaat yang dapat dipakai dalam kehidupan sehari-hari, seperti edukasi untuk anak kecil, dan membantu orang yang memiliki pengelihatan kurang. Tekonologi image captioning sudah lama dikembangkan, tetapi, penggunaan dalam skala publik masih kurang. Dalam penelitian ini, saya mengembangkan aplikasi image captioning yang dapat digunakan dalam ponsel sehari-hari. Saat ini lebih dari 80% dari semua populasi di dunia memiliki ponsel pintar, yang berarti aplikasi image captioning dapat digunakan sehari-hari secara praktis. Aplikasi bekerja dengan cara pengguna memilih gambar dari ponsel mereka, dan cukup menekan satu tombol saja, caption dari gambar tersebut langsung keluar. Implementasi aplikasi image captioning langsung pada ponsel membutuhkan kinerja komputasi yang cukup tinggi, yang dimana kinerja ponsel pintar sekarang masih kurang mampu, karena itu sekarang masih sedikit aplikasi image captioning yang dapat digunakan di ponsel pintar. Pada penelitian ini, saya mengembangkan aplikasi image captioning yang dapat digunakan di ponsel dengan menggunakan model yang sudah dikembangkan dari keras, model tersebut menggunakan CNN sebagai yang mengambil fitur pada gambar, transformer sebagai input dan output, dan menggunakan Flick8K_dataset sebagai gambar untuk melatih model, hasil latihan dari model ini akan digunakan sebagai model akhir yang digunakan untuk menghasilkan caption. Model ini mendapatkan BLEU score sebesar 0.31 setelah di test menggunakan 15 gambar yang diambil dari validation sets. Model akan diunggah ke server dan aplikasi android akan melakukan komunikasi dengan model yang ada di server untuk menghasilkan caption. Dengan itu aplikasi image captioning di ponsel bisa digunakan oleh semua orang waulupun memiliki kinerja komputasi yang berbeda-beda karena semua kalkulasi di lakukan di server dan aplikasi android hanya perlu mengirim dan menerima data saja.