Loss Function là gì? Các loại hàm mất mát phổ biến trong Machine Learning và Deep Learning

Trong quá trình huấn luyện Machine Learning và Deep Learning, Loss Function giúp đo lường sai số giữa kết quả dự đoán và dữ liệu thực tế, đồng thời cung cấp cơ sở để tối ưu các tham số của mô hình. Việc lựa chọn hàm mất mát phù hợp với từng bài toán và đặc điểm dữ liệu góp phần nâng cao hiệu quả huấn luyện. Bài viết này hãy cùng Viettel IDC tìm hiểu Loss Function là gì và đâu là những loại phổ biến hiện nay nhé. 

Loss Function là gì?

Loss Function (hàm mất mát) là hàm toán học dùng để đo lường mức độ sai lệch giữa kết quả dự đoán của mô hình và giá trị thực tế tương ứng. Giá trị Loss thể hiện mô hình dự đoán chưa chính xác đến đâu trên một mẫu dữ liệu hoặc một nhóm mẫu trong quá trình huấn luyện.

Có thể hiểu đơn giản, Loss Function giống như thước đo giúp mô hình nhận biết kết quả của mình đang cách mục tiêu bao xa. Khi giá trị Loss cao, dự đoán thường có mức sai lệch lớn theo tiêu chí của hàm được sử dụng. Ngược lại, Loss thấp cho thấy kết quả dự đoán phù hợp hơn với dữ liệu mục tiêu. Tuy nhiên, cách diễn giải cụ thể còn phụ thuộc vào từng loại hàm mất mát và bài toán.

Trong Machine Learning, Loss Function thường được sử dụng làm mục tiêu tối ưu trong quá trình huấn luyện. Sau khi mô hình tạo ra dự đoán, hàm mất mát sẽ tính toán sai số dựa trên kết quả đó và nhãn thực tế. Gradient của Loss được xác định thông qua Backpropagation, sau đó thuật toán tối ưu như Gradient Descent, SGD hoặc Adam sử dụng thông tin này để điều chỉnh trọng số và bias.

Vai trò của Loss Function trong Machine Learning và Deep Learning

Loss Function là thành phần quan trọng trong quá trình huấn luyện mô hình, đặc biệt với mạng nơ-ron có nhiều lớp và số lượng tham số lớn. Vai trò của hàm mất mát thể hiện qua những khía cạnh sau:

- Đo lường sai số dự đoán: Loss Function xác định mức độ khác biệt giữa đầu ra của mô hình và giá trị thực tế. Nhờ đó, nhà phát triển có thể theo dõi mức độ sai lệch trong quá trình huấn luyện.

-Làm cơ sở tối ưu tham số: Gradient được tính từ hàm mất mát giúp thuật toán tối ưu xác định hướng điều chỉnh trọng số và bias nhằm giảm sai số.

- Hỗ trợ mô hình học đặc trưng: Trong mạng nơ-ron nhiều lớp, thông tin sai số được lan truyền ngược để các lớp điều chỉnh tham số, từ đó từng bước học được những đặc trưng từ đơn giản đến phức tạp.

- Định hướng quá trình huấn luyện: Việc theo dõi Loss qua từng epoch giúp nhận biết mô hình đang cải thiện, hội tụ chậm hay gặp vấn đề như quá khớp (Overfitting).

- Thích ứng với nhiều dạng bài toán: Tùy mục tiêu dự đoán, nhà phát triển có thể chọn hàm mất mát cho hồi quy, phân loại, nhận diện đối tượng hoặc xử lý dữ liệu chuỗi.

Các loại Loss Function phổ biến hiện nay

Loss Function có nhiều loại, mỗi loại được thiết kế để xử lý một mục tiêu và đặc điểm dữ liệu nhất định. Trong đó, các hàm mất mát phổ biến thường được chia theo bài toán hồi quy, phân loại và một số nhiệm vụ chuyên biệt.

1. Mean Squared Error (MSE): Hàm mất mát bình phương trung bình

Mean Squared Error là hàm mất mát tính trung bình bình phương chênh lệch giữa giá trị dự đoán và giá trị thực tế. Do sai số được bình phương trước khi lấy trung bình, những dự đoán lệch nhiều sẽ bị phạt nặng hơn so với các sai số nhỏ.

MSE thường được sử dụng trong các bài toán hồi quy như dự đoán giá nhà, doanh thu, nhiệt độ hoặc nhu cầu tiêu thụ. Ưu điểm của hàm này là cách tính đơn giản, dễ tối ưu và nhấn mạnh những sai số lớn. Tuy nhiên, MSE khá nhạy với dữ liệu ngoại lệ (Outlier). Một vài mẫu có sai số rất lớn có thể làm giá trị Loss tăng mạnh và ảnh hưởng đến quá trình huấn luyện.

2. Mean Absolute Error (MAE): Hàm mất mát tuyệt đối trung bình

Mean Absolute Error đo lường trung bình giá trị tuyệt đối của chênh lệch giữa dự đoán và thực tế. Khác với MSE, MAE không bình phương sai số nên mức phạt tăng tuyến tính theo độ lớn của sai lệch.

Hàm MAE phù hợp với các bài toán hồi quy có dữ liệu chứa ngoại lệ, khi nhà phát triển không muốn một số sai số lớn chi phối quá nhiều kết quả huấn luyện. Ngoài ra, giá trị MAE có cùng đơn vị với biến mục tiêu nên tương đối dễ diễn giải.

3. Huber Loss: Hàm mất mát kết hợp MSE và MAE

Huber Loss kết hợp đặc điểm của MSE và MAE để cân bằng giữa khả năng tối ưu và mức độ nhạy với ngoại lệ. Khi sai số nhỏ, hàm sử dụng cách phạt tương tự MSE; khi sai số vượt qua một ngưỡng xác định, mức phạt chuyển sang dạng tuyến tính tương tự MAE.

Nhờ cơ chế này, Huber Loss vẫn khuyến khích mô hình giảm những sai số nhỏ nhưng hạn chế ảnh hưởng quá lớn từ các điểm dữ liệu bất thường. Hàm thường được ứng dụng trong các bài toán hồi quy có nhiễu hoặc chứa Outlier.

4. Cross-Entropy Loss: Hàm mất mát Entropy chéo

Cross-Entropy Loss là hàm mất mát phổ biến trong các bài toán phân loại. Hàm đo lường sự khác biệt giữa phân phối xác suất mà mô hình dự đoán và nhãn thực tế. Khi mô hình gán xác suất cao cho lớp đúng, giá trị Loss thường thấp. Ngược lại, nếu mô hình tự tin dự đoán sai, mức phạt sẽ lớn.

Cross-Entropy được sử dụng rộng rãi trong phân loại hình ảnh, nhận diện văn bản, phân loại email và nhiều ứng dụng Deep Learning khác. Hàm này phù hợp với những mô hình cần đưa ra xác suất dự đoán cho các lớp.

5. Binary Cross-Entropy: Hàm mất mát phân loại nhị phân

Binary Cross-Entropy (BCE) là biến thể Cross-Entropy dành cho bài toán phân loại nhị phân, tức chỉ có hai lớp kết quả, chẳng hạn email spam và không spam, giao dịch gian lận và hợp lệ hoặc khách hàng rời bỏ và tiếp tục sử dụng dịch vụ.

Hàm đánh giá xác suất mà mô hình dự đoán cho từng mẫu so với nhãn thực tế. Nếu mô hình dự đoán xác suất cao cho lớp đúng, Loss sẽ giảm. Ngược lại, việc dự đoán xác suất cao cho lớp sai sẽ bị phạt đáng kể.

6. Categorical Cross-Entropy: Hàm mất mát phân loại đa lớp

Categorical Cross-Entropy được sử dụng khi mô hình cần phân loại một mẫu vào một trong nhiều lớp loại trừ lẫn nhau. Ví dụ, hệ thống nhận diện hình ảnh có thể phân biệt chó, mèo, chim hoặc ô tô. Hàm so sánh phân phối xác suất dự đoán với nhãn thực tế, sau đó tính mức phạt dựa trên xác suất mô hình dành cho lớp đúng. Nếu xác suất của lớp mục tiêu càng cao, giá trị Loss thường càng thấp.

Trong các framework học sâu, Categorical Cross-Entropy thường được dùng cùng Softmax để tạo phân phối xác suất trên các lớp. Một số thư viện còn hỗ trợ Sparse Categorical Cross-Entropy, cho phép sử dụng nhãn dưới dạng chỉ số lớp thay vì mã hóa One-hot. Cần lựa chọn đúng biến thể dựa trên định dạng nhãn và đầu ra của mô hình.

Cách lựa chọn Loss Function phù hợp với từng bài toán

Lựa chọn Loss Function không nên chỉ dựa trên mức độ phổ biến của thuật toán. Nhà phát triển cần xem xét mục tiêu dự đoán, đặc điểm dữ liệu, cách biểu diễn nhãn và yêu cầu đầu ra của mô hình. Có thể tham khảo các nguyên tắc sau:

Đối với bài toán hồi quy (Regression)

Bài toán hồi quy dự đoán giá trị liên tục như giá nhà, doanh thu, nhiệt độ hoặc thời gian giao hàng. Trong trường hợp này, MSE và MAE là hai lựa chọn thường gặp.

- Chọn MSE khi muốn phạt mạnh những dự đoán có sai số lớn và dữ liệu không chứa quá nhiều ngoại lệ.

- Chọn MAE khi cần hạn chế ảnh hưởng của Outlier và muốn sai số dễ diễn giải theo đơn vị của biến mục tiêu.

- Chọn Huber Loss khi cần cân bằng giữa khả năng tối ưu sai số nhỏ và mức độ ổn định trước các điểm dữ liệu bất thường.

Ví dụ, mô hình dự đoán giá căn hộ có thể sử dụng MSE nếu dữ liệu đã được xử lý tốt và cần hạn chế những dự đoán lệch xa. Nếu tập dữ liệu chứa nhiều căn hộ có mức giá đặc biệt cao hoặc thấp, MAE hay Huber Loss có thể đáng cân nhắc.

Đối với bài toán phân loại (Classification)

Với bài toán phân loại, cần xác định số lượng lớp và cách mô hình biểu diễn đầu ra:

- Phân loại nhị phân: Sử dụng Binary Cross-Entropy khi mô hình dự đoán xác suất thuộc một trong hai lớp.

- Phân loại đa lớp: Sử dụng Categorical Cross-Entropy hoặc biến thể Sparse Categorical Cross-Entropy tùy định dạng nhãn.

- Phân loại dựa trên khoảng cách: Hinge Loss có thể phù hợp với SVM và các mô hình sử dụng Margin.

- Phân loại có dữ liệu mất cân bằng: Cân nhắc Focal Loss hoặc Cross-Entropy có trọng số lớp để tăng mức độ chú ý đến nhóm dữ liệu ít xuất hiện.

Đối với dữ liệu mất cân bằng

Khi một lớp chiếm phần lớn dữ liệu, mô hình có thể đạt độ chính xác tổng thể cao nhưng vẫn dự đoán kém ở lớp thiểu số. Trong trường hợp này, có thể sử dụng Focal Loss hoặc thiết lập trọng số cho từng lớp trong Cross-Entropy.

Tuy nhiên, việc lựa chọn cần dựa trên mục tiêu thực tế. Nếu doanh nghiệp cần phát hiện giao dịch gian lận, bỏ sót một giao dịch bất thường có thể gây thiệt hại lớn hơn việc cảnh báo nhầm. 

Kết luận

Loss Function là thành phần cốt lõi trong quá trình huấn luyện Machine Learning và Deep Learning, giúp đo lường sai số và cung cấp cơ sở để tối ưu tham số mô hình. Mỗi loại hàm mất mát có đặc điểm riêng, phù hợp với từng mục tiêu dự đoán và cấu trúc dữ liệu. Vì vậy, hiểu rõ Loss Function là gì và lựa chọn đúng hàm mất mát sẽ giúp quá trình huấn luyện hiệu quả hơn, đồng thời cải thiện khả năng dự đoán của mô hình trên dữ liệu thực tế.