NLP là gì? Tổng quan về xử lý ngôn ngữ tự nhiên cho doanh nghiệp

22/01/2025

NLP (Natural Language Processing), hay xử lý ngôn ngữ tự nhiên, là lĩnh vực của trí tuệ nhân tạo giúp máy tính hiểu, phân tích và tạo ra ngôn ngữ của con người, từ chatbot đến dịch máy. Cùng Viettel IDC tìm hiểu cách NLP hoạt động, khác gì với LLM và cách doanh nghiệp chọn phương pháp phù hợp.

NLP là gì?

NLP kết hợp ngôn ngữ học với khoa học máy tính để biến văn bản và lời nói phi cấu trúc thành kết quả phần mềm dùng được, như nhãn phân loại, thông tin trích xuất hoặc câu trả lời. Với câu "Lan hài lòng với dịch vụ giao hàng", hệ thống có thể nhận diện "Lan" là tên người, chủ đề là giao hàng và sắc thái tích cực.

Không phải bài toán NLP nào cũng cần mô hình ngôn ngữ lớn. Trích xuất mã đơn hàng có định dạng cố định chỉ cần vài quy tắc, còn phân loại email có thể dùng mô hình học máy nhỏ. Lựa chọn này ảnh hưởng đến chi phí và khả năng kiểm soát kết quả.

Lưu ý: NLP còn là viết tắt của Neuro-Linguistic Programming (lập trình ngôn ngữ tư duy), một phương pháp về giao tiếp và phát triển bản thân, không liên quan đến AI.

NLP, NLU, NLG và LLM khác nhau thế nào?

NLP là lĩnh vực tổng thể. NLU và NLG là hai nhóm nhiệm vụ bên trong NLP, còn LLM là một loại mô hình.

Hiểu ngôn ngữ tự nhiên (NLU) xác định ý nghĩa và ý định của đầu vào. Với câu "Đặt phòng họp cho 10 người sáng thứ Hai", NLU nhận ra ý định đặt phòng, số người và thời gian; nếu thiếu giờ cụ thể, hệ thống cần hỏi lại.

Sinh ngôn ngữ tự nhiên (NLG) tạo văn bản từ dữ liệu hoặc ngữ cảnh. Sau khi tra lịch, NLG soạn phản hồi "Phòng A còn trống từ 9 đến 10 giờ, bạn có muốn đặt không?", theo mẫu cố định hoặc bằng mô hình sinh văn bản.

Thuật ngữ	Bản chất	Vai trò	Ví dụ
NLP	Lĩnh vực	Bao trùm các bài toán xử lý ngôn ngữ con người	Phân loại email, dịch máy, chatbot
NLU	Nhóm nhiệm vụ trong NLP	Hiểu ý nghĩa, ý định, thực thể	Nhận diện yêu cầu tra cứu bảo hành
NLG	Nhóm nhiệm vụ trong NLP	Tạo văn bản đầu ra	Soạn câu trả lời, viết tóm tắt
Machine Learning	Phương pháp	Học quy luật từ dữ liệu, dùng cho NLP và nhiều lĩnh vực khác	Bộ lọc thư rác
LLM	Loại mô hình học sâu	Mô hình lớn huấn luyện trên lượng văn bản lớn, làm được nhiều nhiệm vụ NLU và NLG	Trợ lý hội thoại, tóm tắt tài liệu

NLP hoạt động như thế nào?

Quy trình thay đổi theo nhiệm vụ và mô hình. Phần này theo dõi một phản hồi khách hàng qua từng bước: "Phòng sạch nhưng nhân viên hỗ trợ chậm".

Tách token và tiền xử lý

Hệ thống chia câu thành các đơn vị nhỏ gọi là token. "Nhân viên" và "hỗ trợ" là từ ghép hai âm tiết; nếu tách theo khoảng trắng, "nhân" và "viên" bị xử lý như hai từ riêng.

Bước loại bỏ từ dừng cũng không nên áp dụng máy móc. Từ "nhưng" có thể nằm trong danh sách từ dừng, dù ở đây nó báo hiệu sắc thái đổi chiều. Mô hình Transformer dùng bộ tách token riêng nên ít cần các bước này hơn.

Biểu diễn văn bản bằng vector

Văn bản được chuyển thành vector, và cách chuyển đổi quyết định mô hình giữ lại bao nhiêu ý nghĩa. TF-IDF biểu diễn văn bản theo tần suất từ có trọng số, nhưng không giữ thứ tự từ. Word2Vec gán cho mỗi từ một vector cố định, bất kể từ đó đứng trong câu nào. Mô hình Transformer tạo vector theo ngữ cảnh, nên "đường đến công ty" và "đường trong cà phê" có biểu diễn khác nhau.

Khi đưa BERT vào Search tháng 10/2019, Google minh họa bằng truy vấn về người Brazil đi Mỹ cần visa, trong đó giới từ "to" quyết định hướng di chuyển. Google cho biết BERT giúp hiểu tốt hơn khoảng 1 trong 10 truy vấn tiếng Anh tại Mỹ khi đó.

Phân tích và tạo kết quả

Gán một nhãn cảm xúc cho cả câu ví dụ sẽ mất thông tin, vì câu chứa hai nhận xét trái chiều. Phân tích cảm xúc theo khía cạnh (aspect-based sentiment analysis) tách kết quả thành "phòng: tích cực" và "nhân viên hỗ trợ: tiêu cực". Kết quả được ghi thành trường dữ liệu để chuyển góp ý đến đúng bộ phận.

Huấn luyện và suy luận

Huấn luyện diễn ra khi xây dựng hoặc cập nhật mô hình, không phải mỗi lần người dùng gửi yêu cầu. Khi vận hành, mô hình thực hiện suy luận (inference): nhận đầu vào và trả về kết quả. Nhiều đội phát triển dùng mô hình tiền huấn luyện, rồi tinh chỉnh hoặc kết nối với dữ liệu nội bộ.

NLP hoạt động như thế nào?

Ứng dụng NLP trong doanh nghiệp

Mỗi ứng dụng thường kết hợp nhiều tác vụ NLP. Hiểu tác vụ bên dưới giúp đội IT ước lượng dữ liệu cần chuẩn bị và điểm dễ lỗi.

Ứng dụng	Tác vụ NLP bên dưới	Điều cần lưu ý khi triển khai
Chatbot, trợ lý ảo	Nhận diện ý định, trích xuất thực thể, sinh câu trả lời	Cần kết nối với hệ thống nghiệp vụ, hỏi lại khi thiếu thông tin và có đường chuyển sang nhân viên
Phân tích phản hồi khách hàng	Phân tích cảm xúc theo khía cạnh, phân loại chủ đề	Câu mỉa mai và teencode dễ gây sai; danh sách khía cạnh cần khớp với cách doanh nghiệp quản lý dịch vụ
Trích xuất thông tin từ tài liệu	OCR với bản quét, nhận diện thực thể, phân loại tài liệu	Lỗi OCR ảnh hưởng trực tiếp đến kết quả; trường quan trọng như số tiền, ngày hiệu lực cần người kiểm tra
Tìm kiếm và hỏi đáp tài liệu nội bộ	Embedding, tìm kiếm ngữ nghĩa, RAG	Nên kết hợp tìm kiếm từ khóa cho mã sản phẩm, thuật ngữ chính xác; kết quả phải tuân theo quyền truy cập tài liệu
Dịch máy	Mô hình dịch máy (ví dụ Google Dịch) hoặc LLM	Chất lượng phụ thuộc cặp ngôn ngữ và thuật ngữ chuyên ngành; văn bản pháp lý cần người rà soát

Vì sao xử lý tiếng Việt khó hơn?

Mỗi đặc điểm dưới đây của tiếng Việt kéo theo một hệ quả khi triển khai:

- Tách từ: khoảng trắng ngăn cách âm tiết, không phải từ. Câu "Học sinh học sinh học" cần tách thành "Học sinh / học / sinh học". Lỗi tách từ lan sang các bước sau, như nhận diện sai tên riêng.

- Dấu thanh: chữ "ma" gõ không dấu có thể là "ma", "má", "mà", "mả", "mã" hoặc "mạ". Dữ liệu từ tin nhắn, bình luận cần bước khôi phục dấu hoặc mô hình đã học trên dữ liệu không dấu.

- Teencode và phương ngữ: "ko", "j", "quả/trái", "ngõ/hẻm" thay đổi theo kênh và vùng miền. Dữ liệu huấn luyện nên lấy từ đúng kênh hệ thống sẽ xử lý.

- Dữ liệu chuyên ngành: dữ liệu tiếng Việt gán nhãn chất lượng cao cho y tế, pháp lý, tài chính thường hạn chế hơn tiếng Anh. Mô hình tổng quát có thể kém hơn với thuật ngữ nội bộ.

Vì vậy, kết quả đánh giá trên tiếng Anh chưa đủ để kết luận về chất lượng trên tiếng Việt.

Vì sao xử lý tiếng Việt khó hơn?

Chọn phương pháp NLP nào cho bài toán?

Dự án NLP nên bắt đầu từ bài toán, không phải từ mô hình. Trước khi chọn công nghệ, cần trả lời:

- Bài toán là phân loại, trích xuất, trả lời câu hỏi hay sinh nội dung?

- Dữ liệu đầu vào có chứa thông tin cá nhân hoặc bí mật kinh doanh không?

- Tiêu chí đạt là độ chính xác, độ trễ hay chi phí?

- Kết quả sai gây hậu quả ở mức nào, và khâu nào cần con người kiểm duyệt?

Tiêu chí	Dựa trên quy tắc	Học máy truyền thống	Gọi API LLM kết hợp RAG	Tinh chỉnh mô hình
Phù hợp với	Dữ liệu có định dạng cố định như mã đơn hàng, số hóa đơn	Phân loại email, lọc thư rác, gắn nhãn chủ đề	Hỏi đáp tài liệu, tóm tắt, chatbot	Thuật ngữ chuyên ngành, định dạng đầu ra đặc thù
Dữ liệu cần có	Mẫu và từ điển, không cần dữ liệu gán nhãn	Tập dữ liệu có nhãn	Tài liệu nội bộ để truy xuất, không cần dữ liệu huấn luyện	Tập dữ liệu có nhãn chất lượng
Hạ tầng	Thường chạy được trên CPU	Thường chạy được trên CPU	Nhà cung cấp vận hành mô hình; doanh nghiệp vận hành phần truy xuất	Thường cần GPU khi tinh chỉnh
Rủi ro chính	Bỏ sót cách diễn đạt mới, khó bảo trì khi số quy tắc tăng	Kém với ngữ cảnh phức tạp	Câu trả lời thiếu căn cứ, chi phí tăng theo lượng sử dụng	Chi phí chuẩn bị dữ liệu, cần đánh giá lại khi cập nhật

RAG (Retrieval-Augmented Generation) truy xuất tài liệu liên quan trước khi mô hình tạo câu trả lời. Cách này không cần huấn luyện lại, nhưng chất lượng câu trả lời phụ thuộc vào việc truy xuất đúng tài liệu.

Các hướng này có thể kết hợp trong một hệ thống. Khi chạy PoC, nên giữ một mô hình đối chứng đơn giản như TF-IDF để biết phương án phức tạp hơn có thực sự cải thiện kết quả.

Chọn phương pháp NLP nào cho bài toán?

Rủi ro khi triển khai và cách kiểm soát

Mô hình NLP cho kết quả theo xác suất, nên cần dự tính sai sót từ đầu:

- Hiểu sai ngữ cảnh: câu mỉa mai, mơ hồ dễ bị diễn giải ngược. Nên đặt ngưỡng tin cậy và chuyển sang người xử lý khi mô hình không chắc chắn.

- Câu trả lời thiếu căn cứ: mô hình sinh văn bản có thể tạo nội dung nghe hợp lý nhưng sai. Nên kèm trích dẫn nguồn và để con người duyệt nội dung có hệ quả pháp lý, tài chính.

- Thiên lệch dữ liệu: mô hình có thể kém với nhóm dữ liệu ít gặp. Nên đo độ chính xác theo từng kênh, sản phẩm, vùng miền thay vì chỉ nhìn con số trung bình.

- Lộ dữ liệu nhạy cảm: hợp đồng, thông tin khách hàng có thể bị đưa vào hệ thống ngoài phạm vi kiểm soát. Nên phân loại dữ liệu, ẩn danh thông tin cá nhân khi có thể và áp dụng phân quyền truy cập.

Câu hỏi thường gặp (FAQs)

1. ChatGPT có phải là NLP không?

Có. ChatGPT là ứng dụng hội thoại dựa trên LLM, thuộc phạm vi ứng dụng của NLP. Ngược lại, NLP rộng hơn LLM và gồm cả hệ thống dựa trên quy tắc hoặc mô hình nhỏ.

2. Triển khai NLP có bắt buộc cần GPU không?

Không bắt buộc. Quy tắc và học máy truyền thống thường chạy được trên CPU. GPU cần khi tự vận hành, tinh chỉnh hoặc huấn luyện mô hình học sâu lớn.

3. Gửi dữ liệu doanh nghiệp qua API mô hình AI có an toàn không?

Có thể, nhưng phụ thuộc vào nhà cung cấp và cách triển khai. Cần kiểm tra dữ liệu được xử lý, lưu trữ ở đâu, có được dùng để huấn luyện mô hình không và tuân thủ quy định bảo vệ dữ liệu cá nhân hiện hành.

4. Developer nên bắt đầu học NLP từ đâu?

Nên nắm Python và học máy cơ bản, sau đó xây bộ phân loại văn bản bằng TF-IDF với scikit-learn rồi chuyển sang Hugging Face Transformers. Với tiếng Việt, Underthesea hỗ trợ tách từ, gán nhãn từ loại và nhận diện thực thể.

Kết luận

NLP là gì được thể hiện rõ qua khả năng chuyển nội dung ngôn ngữ thành kết quả phục vụ công việc: phân loại yêu cầu, khai thác phản hồi và tra cứu tài liệu. Giá trị triển khai nằm ở mức độ giải quyết đúng bài toán, với dữ liệu phù hợp và kết quả được kiểm chứng.

Để tìm hiểu thêm về các sản phẩm, dịch vụ tại Viettel IDC, vui lòng liên hệ đến Viettel IDC:

- Hotline: 1800.8088 (miễn phí cước gọi)

- Fanpage: https://www.facebook.com/viettelidc

- Website: https://viettelidc.com.vn