Consumer Intent Analysis in the Beverage Industry on Social Media Platforms Using Deep Learning Techniques

Abstract

This study aims to compare the performance of deep learning techniques for classifying consumer intent in the beverage industry. The dataset consists of 2,300 text records, categorized into three classes: opinion/statement, question, and problem report. The data were preprocessed through text preparation steps and transformed into suitable formats for model training. To address class imbalance, class weighting techniques were applied.The dataset was then split and evaluated using 5-fold cross-validation to compare four deep learning approaches: Bidirectional Long Short-Term Memory (Bi-LSTM), Bidirectional Gated Recurrent Unit (Bi-GRU), Bidirectional Encoder Representations from Transformers (BERT) and Distilled Bidirectional Encoder Representations from Transformers (DistilBERT). The initial training and evaluation results showed that BERT achieved the highest performance, with an accuracy of 93.30%, precision of 0.93, recall of 0.93, F1-score of 0.93, and an AUC of 0.98. However, when tested on unseen data, the Bi-GRU model demonstrated the best performance, achieving an accuracy of 86.87%, precision of 0.87, recall of 0.87, F1-score of 0.87, and an AUC of 0.94.

งานวิจัยนี้มีวัตถุประสงค์เพื่อเปรียบเทียบประสิทธิภาพของเทคนิคการเรียนรู้เชิงลึกในการจำแนกเจตนาความคิดเห็นของผู้บริโภคในอุตสาหกรรมเครื่องดื่ม โดยใช้ชุดข้อมูลจำนวน 2,300 รายการ แบ่งเป็น 3 ประเภท ได้แก่ ความคิดเห็นเชิงวิจารณ์และบอกเล่า ความคิดเห็นเชิงคำถาม และการแจ้งปัญหา ข้อมูลผ่านกระบวนการเตรียมและแปลงให้อยู่ในรูปแบบที่เหมาะสมสำหรับการฝึกแบบจำลอง พร้อมทั้งแก้ปัญหาความไม่สมดุลของข้อมูลด้วยเทคนิคค่าน้ำหนักของคลาสแบบจำลองถูกประเมินด้วยวิธีการตรวจสอบแบบไขว้ 5 ส่วน เพื่อเปรียบเทียบเทคนิคการเรียนรู้เชิงลึก 4 วิธี ได้แก่ โครงข่ายหน่วยความจำระยะสั้นแบบยาวสองทิศทาง โครงข่ายหน่วยหมุนเวียนที่มีประตูควบคุมสองทิศทาง การแทนค่าภาษาแบบเข้ารหัสสองทิศทางด้วยทรานส์ฟอร์เมอร์ และการแทนค่าแบบเข้ารหัสสองทิศทางด้วยทรานส์ฟอร์เมอร์ที่ได้จากการกลั่นความรู้ โดยผลการทดลองเบื้องต้นพบว่าแบบจำลองที่ใช้การแทนค่าภาษาแบบเข้ารหัสสองทิศทางด้วยทรานส์ฟอร์เมอร์ให้ประสิทธิภาพสูงสุดในการฝึกและประเมินผล โดยมีค่าความถูกต้องร้อยละ 93.30 ค่าความแม่นยำ 0.93 ค่าระลึก 0.93 ค่าการถ่วงดุล 0.93 และค่าพื้นที่ใต้เส้นโค้งคุณลักษณะสมบัติการทำงาน เท่ากับ 0.98 อย่างไรก็ตาม เมื่อทำการทดสอบแบบจำลองด้วยข้อมูลที่ไม่เคยใช้ในการฝึกแบบจำลอง พบว่าแบบจำลองที่ใช้เทคนิคโครงข่ายหน่วยหมุนเวียนที่มีประตูควบคุมสองทิศทางให้ประสิทธิภาพสูงสุด โดยมีค่าความถูกต้อง 86.87% ค่าความแม่นยำ 0.87 ค่าระลึก 0.87 ค่าการถ่วงดุล 0.87 และค่าพื้นที่ใต้เส้นโค้งคุณลักษณะสมบัติการทำงานเท่ากับ 0.94 ตามลำดับ