HBase là gì? Cách hoạt động và ứng dụng trong Big Data

Khi dữ liệu doanh nghiệp tăng lên đến hàng terabyte hoặc petabyte, việc lưu trữ và truy xuất từng bản ghi với tốc độ ổn định trở thành bài toán không đơn giản. Các hệ quản trị cơ sở dữ liệu truyền thống không phải lúc nào cũng phù hợp với những workload có lượng dữ liệu cực lớn và yêu cầu mở rộng trên nhiều máy chủ. Đây là một trong những bài toán mà HBase được thiết kế để giải quyết. Vậy HBase là gì, vì sao công nghệ này được sử dụng trong hệ sinh thái Big Data. Bài viết sau đây Viettel IDC sẽ giúp bạn giải đáp chi tiết.

HBase là gì?

HBase là một hệ quản trị dữ liệu NoSQL phân tán, mã nguồn mở, được xây dựng để lưu trữ và truy cập lượng dữ liệu rất lớn trên nhiều máy chủ. Apache HBase được phát triển theo ý tưởng của Google Bigtable và thường được sử dụng cùng hệ sinh thái Hadoop. Apache mô tả HBase là một distributed, scalable data store, tập trung vào khả năng đọc và ghi ngẫu nhiên theo thời gian thực trên các bảng dữ liệu lớn.

Điểm khác biệt quan trọng của HBase nằm ở cách công nghệ này xử lý dữ liệu. HBase không phải một RDBMS truyền thống và cũng không hướng đến việc thay thế hoàn toàn các cơ sở dữ liệu quan hệ. Thay vào đó, HBase được thiết kế cho những hệ thống cần lưu trữ dữ liệu quy mô lớn, phân tán trên nhiều máy chủ và thường xuyên thực hiện thao tác đọc, ghi trực tiếp trên từng bản ghi.

HBase đặc biệt phù hợp với những hệ thống có dữ liệu rất lớn nhưng vẫn cần truy cập đến từng record tương đối nhanh. Một số workload thường được nhắc đến gồm dữ liệu Time-Series, metrics, IoT telemetry, AdTech, personalization và dữ liệu log hoặc event quy mô lớn.

Tuy nhiên, HBase không phải lựa chọn tối ưu cho mọi loại ứng dụng. Công nghệ này không cung cấp đầy đủ những tính năng quen thuộc của RDBMS như hệ thống JOIN phức tạp, secondary index theo mô hình truyền thống hay ngôn ngữ truy vấn SQL nâng cao. Vì vậy, lựa chọn HBase cần dựa trên đặc điểm dữ liệu và cách ứng dụng truy cập dữ liệu thay vì chỉ dựa vào quy mô database.

HBase hoạt động như thế nào?

Để hiểu cách HBase hoạt động, cần hình dung quá trình dữ liệu đi từ ứng dụng đến RegionServer, sau đó được xử lý trong bộ nhớ và cuối cùng lưu xuống HFile trên hệ thống filesystem. HBase tổ chức dữ liệu thành Region và phân phối các Region trên nhiều RegionServer. Mỗi Region chứa các Store tương ứng với Column Family, trong Store có MemStore và các StoreFile, thường là HFile.

Quy trình cụ thể gồm: 

- Bước 1: Client gửi yêu cầu đến HBase

- Bước 2: Xác định Region chứa dữ liệu

- Bước 3: RegionServer xử lý request

- Bước 4: Dữ liệu ghi vào WAL và MemStore

- Bước 5: MemStore được flush thành HFile

- Bước 6: Compaction tối ưu dữ liệu

- Bước 7: Region được split khi dữ liệu tăng

Những tính năng nổi bật của HBase

Khả năng mở rộng theo chiều ngang

Một trong những điểm mạnh quan trọng của HBase là khả năng mở rộng bằng cách bổ sung RegionServer vào cluster. Khi số lượng máy chủ tăng, hệ thống có thể mở rộng cả năng lực lưu trữ và xử lý dữ liệu. Apache HBase mô tả đây là khả năng linear và modular scaling. Cách mở rộng này đặc biệt có giá trị với doanh nghiệp có tốc độ tăng trưởng dữ liệu nhanh. Thay vì liên tục nâng cấp một máy chủ duy nhất, hệ thống có thể phân phối dữ liệu và workload trên nhiều máy chủ.

Phân phối dữ liệu tự động

HBase sử dụng Region làm đơn vị phân phối dữ liệu. Khi bảng phát triển, các Region có thể được split và phân phối lại trong cluster. Cơ chế này giúp dữ liệu không bị giới hạn trên một máy chủ duy nhất. Tuy nhiên, hiệu quả phân phối vẫn phụ thuộc đáng kể vào thiết kế RowKey. Một RowKey tạo ra pattern truy cập tập trung có thể làm mất lợi ích của việc phân vùng dữ liệu.

Đọc và ghi nhất quán

HBase cung cấp strong consistency cho các thao tác đọc và ghi. Apache HBase không được thiết kế theo mô hình eventual consistency đơn thuần; đây là một trong những đặc điểm khiến công nghệ phù hợp với những workload cần kết quả nhất quán sau khi dữ liệu được ghi. Đặc điểm này có thể hữu ích với các hệ thống counter, hồ sơ dữ liệu hoặc những workload mà ứng dụng không muốn đọc một phiên bản dữ liệu cũ sau khi thay đổi đã được commit.

Hỗ trợ dữ liệu rất lớn

HBase được thiết kế cho các bảng dữ liệu có quy mô lớn và có khả năng phân phối dữ liệu trên nhiều máy chủ. Khi kết hợp với HDFS, HBase có thể tận dụng filesystem phân tán để lưu trữ dữ liệu trên cluster.

Hỗ trợ dữ liệu thưa

HBase không yêu cầu mỗi row phải chứa đầy đủ tất cả các column. Mô hình Column Family và Column Qualifier cho phép dữ liệu có thể thưa, chỉ lưu những giá trị thực sự tồn tại. Điều này phù hợp với những tập dữ liệu mà mỗi đối tượng có thể có các thuộc tính khác nhau hoặc số lượng thuộc tính tăng theo thời gian.

Block Cache và Bloom Filter

HBase cung cấp Block Cache để giữ dữ liệu thường xuyên được truy cập trong bộ nhớ. Ngoài ra, Bloom Filter có thể hỗ trợ giảm số lần đọc không cần thiết khi kiểm tra khả năng tồn tại của dữ liệu trong StoreFile. Apache liệt kê Block Cache và Bloom Filters trong nhóm tính năng tối ưu truy vấn của HBase. Hai cơ chế này có vai trò khác nhau nhưng cùng hướng đến mục tiêu giảm chi phí I/O và cải thiện hiệu quả truy xuất dữ liệu.

Khả năng phục hồi khi RegionServer gặp sự cố

HBase có cơ chế phát hiện và xử lý lỗi RegionServer. Khi một RegionServer gặp sự cố, các Region liên quan có thể được phân phối lại cho RegionServer khác sau quá trình recovery. WAL đóng vai trò quan trọng trong quá trình này vì các thay đổi chưa được flush khỏi MemStore có thể được replay để phục hồi dữ liệu.

Tích hợp với hệ sinh thái Big Data

HBase được thiết kế để hoạt động trong hệ sinh thái Hadoop và có khả năng tích hợp với HDFS. Ngoài ra, Apache HBase cung cấp Java Client API cùng các API như REST và Thrift để ứng dụng có thể tương tác với hệ thống. Nhờ đó, HBase có thể trở thành một lớp lưu trữ dữ liệu phục vụ nhiều thành phần trong kiến trúc Big Data thay vì hoạt động như một database độc lập.

Ứng dụng thực tế của HBase

HBase phát huy hiệu quả trong những hệ thống có lượng dữ liệu lớn, phát sinh liên tục và cần khả năng đọc ghi theo từng bản ghi với độ trễ thấp. Nhờ mô hình lưu trữ phân tán và khả năng mở rộng trên nhiều RegionServer, HBase có thể đáp ứng nhiều workload đặc thù trong Big Data. Một số ứng dụng tiêu biểu của HBase gồm:

Lưu trữ dữ liệu Time-Series

Time-Series là một trong những nhóm workload phù hợp với HBase. Dữ liệu được tạo liên tục theo thời gian như metrics, trạng thái hệ thống hoặc lịch sử hoạt động có thể phát triển rất nhanh. HBase có thể lưu lượng lớn bản ghi và hỗ trợ truy cập theo RowKey được thiết kế phù hợp với cách ứng dụng cần truy vấn dữ liệu.

Quản lý dữ liệu IoT và Telemetry

Các hệ thống IoT thường tạo ra lượng dữ liệu telemetry liên tục từ cảm biến và thiết bị. Mỗi thiết bị có thể gửi trạng thái, nhiệt độ, vị trí, mức tiêu thụ hoặc những chỉ số khác theo chu kỳ. HBase phù hợp với những workload cần lưu lượng bản ghi lớn và khả năng truy cập dữ liệu theo thiết bị hoặc khoảng thời gian. Apache cũng liệt kê IoT Telemetry trong các nhóm use case của HBase. Một hệ thống IoT quy mô lớn có thể sử dụng RowKey để tổ chức dữ liệu theo thiết bị và thời gian, đồng thời phân phối dữ liệu trên nhiều Region.

AdTech và Personalization

HBase có thể được sử dụng để lưu trữ dữ liệu phục vụ quảng cáo và cá nhân hóa, nơi hệ thống cần truy cập nhanh đến hồ sơ, hành vi hoặc các tín hiệu của người dùng. Ví dụ, một nền tảng có thể cần lưu lịch sử tương tác của hàng triệu người dùng. Khi người dùng thực hiện một hành động mới, hệ thống ghi thêm event; khi cần tạo nội dung phù hợp, ứng dụng đọc lại các dữ liệu liên quan.

Log và dữ liệu sự kiện quy mô lớn

Log và event có thể tạo ra lượng dữ liệu khổng lồ, đặc biệt trong hệ thống có hàng nghìn service, máy chủ hoặc thiết bị. HBase có thể phù hợp khi ứng dụng cần lưu các record sự kiện  với quy mô lớn và có mô hình truy cập được xác định rõ. Tuy nhiên, HBase không nên mặc định được lựa chọn thay cho mọi hệ thống log. Nếu workload chủ yếu cần tìm kiếm toàn văn, phân tích log hoặc truy vấn linh hoạt, một hệ thống được thiết kế chuyên cho search và analytics có thể phù hợp hơn.

Kết luận

HBase phù hợp với những hệ thống có lượng dữ liệu lớn, cần đọc ghi thường xuyên và phải mở rộng trên nhiều máy chủ. Kiến trúc phân tán của HBase giúp dữ liệu được chia và xử lý trên nhiều RegionServer, trong khi RowKey giữ vai trò quan trọng trong việc tổ chức và truy cập dữ liệu. Hiểu rõ HBase là gì và cách công nghệ này hoạt động sẽ giúp doanh nghiệp đánh giá đúng mức độ phù hợp trước khi triển khai.