TF-IDF là gì? Công thức tính và ứng dụng trong xử lý văn bản

Khi công cụ tìm kiếm xếp hạng tài liệu hoặc mô hình học máy xử lý văn bản, TF-IDF chính là kỹ thuật lõi đứng sau. Đây là phương pháp thống kê giúp máy tính hiểu được mức độ quan trọng của một từ vựng. Bài viết dưới đây, Viettel IDC sẽ giải thích khái niệm, công thức tính toán chi tiết và ứng dụng thực tế của kỹ thuật này.

TF-IDF là gì?

TF-IDF là viết tắt của Term Frequency Inverse Document Frequency. Đây là một phương pháp thống kê được sử dụng rộng rãi trong lĩnh vực truy xuất thông tin và khai phá văn bản. Mục đích chính của nó là đánh giá mức độ quan trọng của một từ đối với một tài liệu cụ thể khi đặt trong ngữ cảnh của toàn bộ tập dữ liệu.

Khái niệm cốt lõi rất đơn giản: một từ xuất hiện càng nhiều trong một bài viết nhưng lại càng hiếm gặp ở các bài viết khác thì nó càng mang tính đặc trưng. Ngược lại những từ xuất hiện tràn lan ở mọi nơi sẽ bị đánh giá là từ vựng ít có giá trị phân loại.

Công thức tính toán TF-IDF

Phương pháp này được tính toán bằng cách nhân hai đại lượng độc lập lại với nhau.

Term Frequency

Đại lượng này đo lường tần suất xuất hiện của một từ trong một văn bản. Chỉ số này thường được chuẩn hóa bằng cách chia cho tổng số từ trong văn bản đó nhằm tránh sự thiên lệch khi so sánh giữa một bài viết dài và một bài viết ngắn.

Inverse Document Frequency

Đại lượng này đánh giá mức độ hiếm của một từ trong toàn bộ tập hợp dữ liệu. Bằng cách lấy logarit của tổng số văn bản chia cho số văn bản chứa từ khóa đó, hệ thống đảm bảo rằng nếu một từ xuất hiện ở rất ít văn bản thì giá trị của nó sẽ càng cao.

Công thức tổng hợp

Bằng cách nhân hai đại lượng này lại với nhau hệ thống sẽ triệt tiêu sức mạnh của các từ nối phổ biến và tôn vinh những từ khóa mang tính phân biệt cao. Điểm số cuối cùng sẽ đạt mức tối đa khi một từ xuất hiện dày đặc trong một bài viết cụ thể nhưng lại vắng bóng ở phần lớn các bài viết còn lại.

Ví dụ tính toán cụ thể bằng số

Giả sử chúng ta có ba đoạn văn bản ngắn:

- Văn bản một là con mèo ngồi trên thảm

- Văn bản hai là con chó chạy trên sân

- Văn bản ba là con mèo và con chó chơi đùa

Ta sẽ tính TF-IDF của từ "mèo" trong Văn bản 1.

Bước 1: Tính TF("mèo", Văn bản 1): Văn bản 1 có 5 từ, từ "mèo" xuất hiện 1 lần.

TF("mèo", VB1) = 1 / 5 = 0.2

Bước 2: Tính IDF("mèo", corpus): Corpus có 3 văn bản, từ "mèo" xuất hiện trong 2 văn bản (VB1 và VB3).

IDF("mèo") = log(3 / 2) ≈ log(1.5) ≈ 0.176 (log cơ số 10)

Bước 3 — Tính TF-IDF:

TF-IDF("mèo", VB1) = 0.2 × 0.176 ≈ 0.035

Nếu so sánh với một từ xuất hiện ở cả 3 văn bản như "con" (IDF = log(3/3) = log(1) = 0), giá trị TF-IDF của "con" sẽ luôn bằng 0 dù nó xuất hiện rất thường xuyên. Điều này đúng với bản chất của TF-IDF: từ xuất hiện ở mọi văn bản không mang tính phân biệt, nên không được xem là quan trọng dù tần suất cao.

Cách tính bằng code Python

Trong thực hành, TF-IDF thường được tính bằng thư viện scikit-learn thông qua lớp TfidfVectorizer thay vì tự viết công thức thủ công:

python

from sklearn.feature_extraction.text import TfidfVectorizer

corpus = [

    "con mèo ngồi trên thảm",

    "con chó chạy trên sân",

    "con mèo và con chó chơi đùa",

]

vectorizer = TfidfVectorizer()

tfidf_matrix = vectorizer.fit_transform(corpus)

# In ra danh sách từ vựng và ma trận trọng số TF-IDF tương ứng

print(vectorizer.get_feature_names_out())

print(tfidf_matrix.toarray())

Một điểm cần đặc biệt lưu ý là kết quả do thư viện trả về thường không khớp hoàn toàn với phép tính thủ công ở trên. Nguyên nhân là do thư viện tự động áp dụng thêm bước chuẩn hóa vector và một thuật toán làm mịn dữ liệu nhằm tránh lỗi chia cho không.

Ứng dụng thực tế của phương pháp TF-IDF

- Xếp hạng mức độ liên quan trong công cụ tìm kiếm (Information Retrieval): Khi người dùng nhập một truy vấn, hệ thống có thể tính điểm TF-IDF của các từ trong truy vấn đối với từng tài liệu trong kho dữ liệu, từ đó xếp hạng tài liệu nào liên quan nhất.

- Trích xuất từ khóa quan trọng của văn bản: Các từ có điểm TF-IDF cao nhất trong một văn bản thường là những từ mang tính đặc trưng, đại diện tốt cho nội dung chính của văn bản đó.

- Vector hóa văn bản cho các mô hình Machine Learning: TF-IDF là một trong những phương pháp phổ biến để chuyển văn bản thành vector số, phục vụ làm đầu vào cho các mô hình phân loại văn bản (text classification), phát hiện văn bản trùng lặp, hay các hệ thống gợi ý (recommendation) dựa trên nội dung.

Hạn chế và các phương pháp thay thế của TF-IDF

Dù được sử dụng rộng rãi, TF-IDF có một số hạn chế đáng lưu ý:

- Không hiểu ngữ nghĩa hay ngữ cảnh: TF-IDF chỉ dựa trên việc đếm từ (mô hình bag-of-words), nên không phân biệt được các từ đồng nghĩa hoặc các cách diễn đạt khác nhau cho cùng một ý nghĩa.

- Không nắm bắt được thứ tự từ: Vì chỉ quan tâm đến tần suất xuất hiện, TF-IDF bỏ qua hoàn toàn trật tự của từ trong câu, dẫn đến mất đi một phần thông tin ngữ pháp/ngữ nghĩa.

Để khắc phục nền tảng công nghệ đã phát triển thêm thuật toán BM25 giúp xử lý độ bão hòa từ vựng tốt hơn. Trong các hệ thống trí tuệ nhân tạo hiện đại các phương pháp nhúng từ như Word2Vec đã ra đời để nắm bắt mối quan hệ ngữ nghĩa sâu sắc. Tuy nhiên nhờ sự đơn giản và tiết kiệm tài nguyên các thuật toán truyền thống vẫn được ứng dụng rộng rãi và thường kết hợp cùng công nghệ mới để tạo ra các hệ thống tìm kiếm lai hiệu quả.

Câu hỏi thường gặp (FAQs)

1. TF-IDF có phải là một thuật toán Machine Learning không?  Bản thân nó chỉ là một phương pháp thống kê tính trọng số chứ không có khả năng tự học từ dữ liệu. Nó đóng vai trò là bước tiền xử lý bắt buộc trước khi đưa ngôn ngữ tự nhiên vào các mô hình học máy phức tạp.

2. Giá trị TF-IDF cao/thấp nói lên điều gì? Chỉ số cao chứng tỏ từ vựng đó mang tính đặc trưng và đại diện xuất sắc cho nội dung bài viết. Chỉ số thấp hoặc bằng không thường rơi vào các giới từ hay mạo từ xuất hiện tràn lan và không mang lại giá trị phân loại.

3. TF-IDF có còn được dùng trong các hệ thống tìm kiếm hiện đại không? Hoàn toàn không. Mặc dù các mô hình ngôn ngữ lớn đang thống trị nhưng các phương pháp thống kê truyền thống vẫn tỏa sáng nhờ chi phí vận hành cực rẻ và tốc độ tính toán nhanh chóng. Chúng vẫn là mảnh ghép quan trọng trong các kiến trúc tìm kiếm hiện đại.

Kết luận

TF-IDF là một trong những kỹ thuật kinh điển nhất định hình nên lĩnh vực xử lý ngôn ngữ tự nhiên. Bằng cách cân bằng giữa tần suất xuất hiện cục bộ và độ hiếm trên toàn cục nó giúp máy tính dễ dàng nhận diện đâu là nội dung thực sự quan trọng. 

Dù không sở hữu khả năng thấu hiểu ngữ cảnh sâu sắc như các mô hình trí tuệ nhân tạo mới nhất nó vẫn là một công cụ khởi đầu hoàn hảo và là bước đệm không thể thiếu trong các hệ thống truy xuất thông tin doanh nghiệp.

Để tìm hiểu thêm về dịch vụ, vui lòng liên hệ đến Viettel IDC:

- Hotline: 1800.8088 (miễn phí cước gọi)

- Fanpage: https://www.facebook.com/viettelidc

- Website: https://viettelidc.com.vn/

Viettel IDC - Nhà cung cấp dẫn đầu về giải pháp Trung tâm dữ liệu và Điện toán đám mây tại Việt Nam