Fluent Bit là gì? Kiến trúc, cách hoạt động và ứng dụng

Fluent Bit là một công cụ mã nguồn mở được thiết kế để thu thập log từ nhiều nguồn, xử lý dữ liệu và chuyển chúng đến hệ thống lưu trữ hoặc phân tích tập trung. Với kiến trúc nhẹ, khả năng xử lý dữ liệu theo pipeline và hệ thống plugin đa dạng, Fluent Bit thường được sử dụng làm log collector hoặc data collector trong môi trường máy chủ, container và Kubernetes. Bài viết sau đây hãy cùng Viettel IDC tìm hiểu Fluent Bit là gì, thành phần và cách công cụ này hoạt động nhé.

Fluent Bit là gì?

Fluent Bit là một open source observability agent và data collector được phát triển để thu thập, xử lý và chuyển tiếp dữ liệu telemetry, trong đó log là một trường hợp sử dụng phổ biến. Fluent Bit thuộc hệ sinh thái Cloud Native Computing Foundation và được thiết kế hướng đến khả năng hoạt động với mức tiêu thụ tài nguyên thấp.

Có thể hình dung Fluent Bit như một lớp trung gian nằm giữa nguồn dữ liệu và hệ thống đích. Ở phía đầu vào, Fluent Bit nhận dữ liệu từ nhiều nguồn như file log, systemd journal, TCP, HTTP, các nguồn dữ liệu container hoặc những input plugin khác. Sau đó, dữ liệu có thể được parser, filter hoặc biến đổi trước khi được router đưa đến output phù hợp.

Điểm đáng chú ý của Fluent Bit là công cụ này không phải một hệ thống lưu trữ log hay nền tảng phân tích log hoàn chỉnh. Fluent Bit chủ yếu đảm nhiệm vai trò thu thập và vận chuyển dữ liệu. Sau khi dữ liệu được xử lý, Fluent Bit có thể chuyển chúng đến các hệ thống đích như Elasticsearch, OpenSearch, Kafka, HTTP endpoint, Amazon CloudWatch hoặc nhiều output khác tùy plugin được sử dụng.

Kiến trúc và các thành phần của Fluent Bit

Kiến trúc Fluent Bit được xây dựng theo mô hình pipeline xử lý dữ liệu. Dữ liệu đi vào thông qua Input, có thể được phân tích bằng Parser và biến đổi bằng Filter, sau đó được Router xác định đường đi trước khi chuyển đến Output. Buffer hỗ trợ lưu giữ dữ liệu trong quá trình xử lý và vận chuyển.

- Input: Điểm tiếp nhận dữ liệu của Fluent Bit. Đây là nơi Fluent Bit lấy log hoặc telemetry từ các nguồn được cấu hình.

- Parser: Chịu trách nhiệm phân tích dữ liệu đầu vào và chuyển chuỗi dữ liệu thành cấu trúc mà Fluent Bit có thể xử lý hiệu quả hơn.

- Filter: Thành phần giúp xử lý hoặc biến đổi record sau khi dữ liệu được thu thập. Đây là một trong những thành phần quan trọng khi doanh nghiệp muốn chuẩn hóa log trước khi gửi đến hệ thống đích.

- Buffer: Hỗ trợ Fluent Bit quản lý dữ liệu trong quá trình thu thập và chuyển tiếp. Đây là thành phần đặc biệt quan trọng khi tốc độ dữ liệu đầu vào và khả năng tiếp nhận của hệ thống đích không giống nhau.

- Router: Thành phần quyết định record sẽ được chuyển đến output nào. Thành phần này cho phép một pipeline Fluent Bit có thể có nhiều luồng xử lý và nhiều hệ thống đích khác nhau.

- Output: Điểm cuối của pipeline Fluent Bit, nơi dữ liệu đã được thu thập và xử lý được chuyển đến hệ thống đích.

Fluent Bit hoạt động như thế nào?

Fluent Bit xử lý dữ liệu theo một pipeline gồm các bước chính:

Bước 1: Thu thập dữ liệu qua Input. 

Fluent Bit nhận log từ các nguồn như file log, systemd, container, Kubernetes, TCP hoặc HTTP.

Bước 2: Phân tích dữ liệu bằng Parser. 

Nếu log ở dạng chuỗi hoặc định dạng chưa có cấu trúc, Parser sẽ phân tích và tách dữ liệu thành các trường cần thiết.

Bước 3: Xử lý dữ liệu bằng Filter. 

Fluent Bit có thể bổ sung metadata, chỉnh sửa field, lọc bỏ dữ liệu không cần thiết hoặc chuẩn hóa record.

Bước 4: Buffer dữ liệu. 

Dữ liệu được lưu tạm trong bộ nhớ hoặc filesystem khi cần, đặc biệt trong trường hợp hệ thống đích tạm thời không thể tiếp nhận dữ liệu.

Bước 5: Router xác định hướng đi. 

Router dựa trên tag và cấu hình để xác định record sẽ được chuyển đến output nào.

Bước 6: Gửi dữ liệu qua Output. 

Fluent Bit chuyển dữ liệu đã xử lý đến hệ thống đích như Elasticsearch, OpenSearch, Kafka, HTTP endpoint hoặc các nền tảng khác.

Các tính năng nổi bật của Fluent Bit

Fluent Bit sở hữu nhiều tính năng nổi bật như: 

- Khả năng sử dụng tài nguyên tương đối thấp: Công cụ được thiết kế cho môi trường cần chạy agent liên tục trên nhiều máy chủ hoặc node. Đây là yếu tố quan trọng trong Kubernetes và các hệ thống phân tán, nơi collector thường phải hoạt động trên số lượng node lớn.

- Cung cấp hệ thống plugin phong phú: Input, filter và output có thể được lựa chọn tùy theo nguồn dữ liệu và hệ thống đích. Nhờ đó, doanh nghiệp có thể xây dựng pipeline phù hợp thay vì bị giới hạn vào một backend cụ thể.

- Khả năng xử lý dữ liệu tại chỗ: Thay vì chuyển toàn bộ dữ liệu thô về backend, doanh nghiệp có thể parser, filter và bổ sung metadata ngay tại collector. Cách tiếp cận này có thể giúp giảm dữ liệu không cần thiết được gửi qua network và làm cho dữ liệu đến backend có cấu trúc phù hợp hơn.

- Hỗ trợ nhiều định dạng và giao thức dữ liệu: Điều này giúp công cụ có thể tích hợp với nhiều thành phần khác nhau trong hệ thống. Khi kiến trúc doanh nghiệp thay đổi backend, pipeline có thể được điều chỉnh thông qua output plugin phù hợp thay vì phải thay thế toàn bộ collector.

- Khả năng chạy tốt trong môi trường Cloud Native: Fluent Bit hỗ trợ các kịch bản liên quan đến container và Kubernetes, giúp doanh nghiệp có thể triển khai collector gần nguồn phát sinh log.

Ứng dụng thực tế của Fluent Bit

Một trong những ứng dụng phổ biến nhất của Fluent Bit là thu thập log tập trung. Thay vì để log phân tán trên từng máy chủ, doanh nghiệp triển khai Fluent Bit tại các nguồn phát sinh dữ liệu và chuyển log về hệ thống trung tâm. Khi đó, đội ngũ vận hành có thể tìm kiếm và phân tích log từ nhiều máy chủ trên một nền tảng thống nhất.

Trong môi trường Kubernetes, Fluent Bit thường được sử dụng để thu thập container log. Các ứng dụng chạy trong pod tạo ra log, Fluent Bit trên node thu thập dữ liệu rồi bổ sung metadata Kubernetes. Nhờ metadata này, đội ngũ vận hành có thể xác định log thuộc namespace, pod hoặc container nào.

Bên cạnh đó, Fluent Bit cũng phù hợp với hệ thống microservices. Một ứng dụng có thể được chia thành hàng chục hoặc hàng trăm service, mỗi service tạo ra log riêng. Nếu không có collector tập trung, việc điều tra một request đi qua nhiều service sẽ trở nên phức tạp. Fluent Bit giúp đưa dữ liệu từ các service về một hệ thống tập trung để phục vụ phân tích.

Ngoài ra, trong các hệ thống Cloud, Fluent Bit có thể được sử dụng để chuyển log từ workload về dịch vụ logging hoặc observability. Với kiến trúc nhiều môi trường, doanh nghiệp có thể cấu hình routing để đưa log từ các workload khác nhau đến backend tương ứng.

Kết luận

Hi vọng bài viết trên sẽ giúp bạn hiểu rõ Fluent Bit là gì, cách hoạt động và ứng dụng cụ thể, từ đó giúp doanh nghiệp lựa chọn đúng công cụ cho bài toán thu thập và xử lý log trong hệ thống hiện đại. Với kiến trúc linh hoạt, khả năng xử lý dữ liệu hiệu quả và hỗ trợ nhiều nguồn cùng hệ thống đích, Fluent Bit phù hợp với máy chủ, container và Kubernetes. Tuy nhiên, để khai thác tốt Fluent Bit, doanh nghiệp cần thiết kế pipeline và cấu hình tài nguyên phù hợp với quy mô hệ thống thực tế.