Evaluasi Metode BART dan RoBERTa untuk Analisis Sentimen Ulasan Film Situs Metacritic

Website pengulas film adalah salah satu referensi penonton untuk mendapatkan opini terhadap suatu film. Ulasan-ulasan pengulas dirangkum menjadi suatu indikator positif, negatif, dan netral terhadap suatu film. Selama ini, sentimen yang digunakan pada sebagian besar situs web pengulas adalah berbasis rating dimana menerapkan if-then rules pada rating yang sudah ada. Hal ini memiliki kekurangan yaitu beberapa ulasan tidak sesuai dengan rating yang diberikan. Maka dari itu, peneliti mengusulkan RoBERTa sebagai analisis sentimen alternatif. Namun, RoBERTa memiliki kekurangan yaitu hanya dapat menerima input dengan panjang token sampai 512. Hal ini dapat diatasi dengan BART yaitu menyimpulkan teks secara abstraktif sehingga token kurang atau sama dengan 512. Selain itu,
dikarenakan pengulas yang berasal dari berbagai penutur bahasa, beberapa ulasan harus diterjemahkan ke dalam Bahasa Inggris karena model RoBERTa dilatih menggunakan Bahasa Inggris. Hasil penelitian per kelompok mengungkapkan
bahwa performa rating-based mengungguli BART-RoBERT. Hasil penelitian per data anomali mengungkapkan bahwa BART-RoBERTa kurang dapat bekerja dengan baik pada data anomali. Hasil penelitian per genre mengungkapkan bahwa
BART-RoBERTa unggul dalam enam genre dari 15. Kegagalan BART-RoBERTa diindikasikan karena RoBERTa kurang dapat memahami konteks sebuah kalimat dan BART kurang dapat merepresentasikan keberpihakan penulis. Kemudian, peneliti membuat evaluasi terhadap kegagalan RoBERTa dalam memahami konteks yaitu dikarenakan oleh komentar implisit, komentar dengan banyak huruf kapital tidak pada tempatnya, kalimat dengan sentimen campuran, kalimat dengan
deskripsi film yang panjang, dan kalimat dengan kosakata tertentu. Setelah dilakukan tinjauan lebih lanjut, kalimat dengan kosakata tertentu tidak mempengaruhi kegagalan RoBERTa melainkan faktor lainnya. Peneliti memutuskan bahwa model BART-RoBERTa belum layak menggantikan model rating-based pada situs Metacritic.