Sentiment analysis system for Thai reviews using long short-term memory

Abstract

This research aims to develop sentiment classification models for Thai text by applying Natural Language Processing techniques through pre-trained Thai language models combined with memory-extended models capable of handling longer data sequences. Four model architectures were developed: baseline model, bidirectional processing-enhanced model, feature extraction with bidirectional processing hybrid model, and a model utilizing the last four layers. Experiments were conducted on a dataset containing 11,118 samples divided into two classes: positive and negative. The results showed that the bidirectional processing-enhanced model achieved the highest performance with 90.93% accuracy. This research demonstrates that appropriate integration of pre-trained language models with memory-extended sequential processing models can effectively develop Thai sentiment classification systems.

การวิจัยนี้มีวัตถุประสงค์เพื่อพัฒนาโมเดลการจำแนกความรู้สึกจากข้อความภาษาไทย โดยประยุกต์ใช้เทคนิคการประมวลผลภาษาธรรมชาติผ่านโมเดลภาษาไทยที่ผ่านการฝึกสอนล่วงหน้า ร่วมกับโมเดลที่สามารถขยายความจุหน่วยความจำเพื่อรองรับลำดับข้อมูลที่ยาวขึ้น โดยพัฒนาโมเดลทั้งหมด 4 รูปแบบ ได้แก่ โมเดลพื้นฐาน โมเดลที่เพิ่มชั้นประมวลผลสองทิศทาง โมเดลที่รวมการสกัดลักษณะเด่นกับการประมวลผลสองทิศทาง และโมเดลที่ใช้ข้อมูลจาก 4 ชั้นสุดท้าย ผู้วิจัยได้ทดลองกับชุดข้อมูลจำนวน 11,118 ตัวอย่าง แบ่งเป็น 2 คลาส ได้แก่ เชิงบวกและเชิงลบ ผลการวิจัยพบว่าโมเดลที่เพิ่มชั้นประมวลผลสองทิศทางให้ประสิทธิภาพสูงสุด โดยมีค่าความถูกต้องร้อยละ 90.93 งานวิจัยนี้แสดงให้เห็นว่าการผสมผสานโมเดลภาษาที่ผ่านการฝึกสอนล่วงหน้ากับโมเดลหน่วยความจำแบบขยายลำดับข้อมูลอย่างเหมาะสมสามารถพัฒนาระบบจำแนกความรู้สึกภาษาไทยได้อย่างมีประสิทธิภาพ