Transfer Learning Menggunakan LoRA+ pada Llama 3.2 untuk Percakapan Bahasa Indonesia

Abstract

Penelitian ini mengeksplorasi penerapan dari metode Parameter-Efficient Finetuning (PEFT) Low-Rank Adaptation+ (LoRA+) pada transfer learning model Llama 3.2 1B, sebuah model bahasa besar. Seiring bertambahnya ukuran model bahasa, finetuning yang dilakukan secara konvensional dalam transfer learning semakin tidak fisibel untuk dilakukan tanpa menggunakan komputasi skala besar. Untuk menangani hal tersebut, dapat dilakukan finetuning pada beberapa komponen saja, menggunakan komputasi yang relatif minimal berbanding dengan finetuning konvensional, metode-metode yang menerapkan prinsip ini disebut juga sebagai PEFT. Penelitian menguji efektifitas metode PEFT, yakni LoRA+, pada transfer learning model bahasa besar terhadap domain baru, yakni bahasa Indonesia, menggunakan metrik BLEU, ROUGE, serta Weighted F1. Hasil penelitian menunjukkan bahwa penerapan LoRA+ menghasilkan performa kompetitif dan unggul terhadap baseline dalam kemampuan berbahasa Indonesia, dengan peningkatan 112% pada skor BLEU dan 21.7% pada skor ROUGE-L, dengan standar deviasi yang relatif rendah sebesar 3.72 dan 0.00075. Meskipun terjadi penurunan pada skor Weighted F1 sebesar 13% yang disebabkan oleh domain shift, model menunjukkan kemampuan transfer lintas-bahasa yang baik. Kata kunci: Finetuning, Model Bahasa Besar, Parameter-Efficient Finetuning, Low-Rank Adaptation, Transfer Learning