HBase là gì? Kiến trúc, mô hình dữ liệu và cách hoạt động

HBase được phát triển để giải quyết bài toán lưu trữ và truy xuất khối lượng dữ liệu lớn trên hạ tầng phân tán. Với mô hình NoSQL hướng cột, khả năng mở rộng ngang và tốc độ đọc ghi theo RowKey, nền tảng này thường xuất hiện trong các hệ thống Big Data, IoT, log và dữ liệu chuỗi thời gian. Cùng Viettel IDC tìm hiểu chi tiết HBase là gì trong bài viết sau.

HBase là gì?

HBase là hệ quản trị cơ sở dữ liệu NoSQL phân tán, mã nguồn mở, được phát triển để lưu trữ và xử lý khối lượng dữ liệu rất lớn trên nhiều máy chủ. Hệ thống sử dụng mô hình dữ liệu dạng cột, cho phép truy xuất nhanh từng bản ghi dựa trên RowKey thay vì phải quét toàn bộ tập dữ liệu.

HBase hoạt động trên Hadoop Distributed File System (HDFS) và thường được sử dụng trong các hệ thống cần đọc, ghi dữ liệu gần thời gian thực. Nhờ khả năng mở rộng theo chiều ngang, doanh nghiệp có thể bổ sung máy chủ vào cụm khi dung lượng hoặc lưu lượng truy cập tăng mà không cần thay đổi toàn bộ kiến trúc.

Cơ chế hoạt động của mô hình dữ liệu HBase

HBase tổ chức dữ liệu theo mô hình NoSQL hướng cột, trong đó mỗi hàng được xác định bằng một RowKey duy nhất và các cột liên quan được nhóm trong Column Family. Nhờ cách sắp xếp theo khóa hàng, hệ thống có thể truy xuất nhanh một bản ghi cụ thể, đọc một số cột cần thiết hoặc quét dữ liệu trong một phạm vi liên tiếp.

Khi dung lượng tăng, mỗi bảng được chia thành nhiều Region rồi phân phối trên các RegionServer khác nhau trong cụm. Các yêu cầu đọc và ghi vì thế có thể xử lý song song trên nhiều máy chủ, giúp HBase duy trì hiệu suất ổn định khi quy mô dữ liệu mở rộng.

Thông thường, ứng dụng sẽ làm việc trực tiếp với dữ liệu thông qua HBase API. Trường hợp cần dùng cú pháp SQL quen thuộc, Apache Phoenix có thể được triển khai phía trên HBase để hỗ trợ các thao tác thêm, xóa và truy vấn mà không làm thay đổi cơ chế lưu trữ bên dưới.

Các yếu tố cơ bản của kiến trúc HBase là gì?

Kiến trúc HBase gồm nhiều lớp phối hợp với nhau để phân phối dữ liệu, xử lý truy vấn và duy trì khả năng phục hồi khi một máy chủ gặp lỗi. Trong đó, HMaster phụ trách điều phối, RegionServer trực tiếp xử lý dữ liệu, còn HDFS đảm nhận lưu trữ lâu dài.

HMaster

Có thể xem HMaster là bộ phận điều phối của toàn cụm HBase database. Thành phần này theo dõi các RegionServer, phân bổ Region, cân bằng tải và xử lý những tác vụ quản trị như tạo, xóa hoặc thay đổi cấu trúc bảng.

Tuy nhiên, HMaster không đứng giữa mọi yêu cầu đọc và ghi. Client thường kết nối trực tiếp đến RegionServer phù hợp, nhờ đó hệ thống tránh tạo ra một điểm nghẽn trung tâm khi lưu lượng tăng cao.

RegionServer

Phần lớn hoạt động truy xuất dữ liệu diễn ra tại RegionServer. Khi ứng dụng gửi yêu cầu đọc hoặc ghi, máy chủ đang quản lý Region tương ứng sẽ tiếp nhận và xử lý trực tiếp.

Mỗi RegionServer có thể quản lý nhiều Region cùng lúc. Bên trong còn có MemStore, WAL và các HFile, tạo thành một chuỗi xử lý từ lúc dữ liệu mới được ghi cho đến khi lưu ổn định trên HDFS.

Region

Một bảng HBase không nằm nguyên vẹn trên một máy chủ mà được chia thành nhiều Region. Mỗi Region phụ trách một khoảng RowKey nhất định, chẳng hạn từ customer_0001 đến customer_5000.

Khi dung lượng tăng vượt ngưỡng, Region có thể tự tách thành hai phần nhỏ hơn. Cách phân chia này giúp dữ liệu được dàn đều trên nhiều RegionServer và tạo điều kiện mở rộng cụm theo chiều ngang.

ZooKeeper

ZooKeeper giữ vai trò kết nối và theo dõi trạng thái giữa các thành phần trong cụm. Client dựa vào thông tin từ ZooKeeper để xác định nơi đang quản lý dữ liệu cần truy cập, thay vì gửi yêu cầu dò tìm trên toàn hệ thống.

Trong trường hợp một RegionServer ngừng phản hồi, ZooKeeper sẽ ghi nhận thay đổi và hỗ trợ HMaster khởi động quá trình phân bổ lại Region. Nhờ đó, cụm có thể tiếp tục hoạt động dù một nút gặp sự cố.

HDFS

HBase sử dụng HDFS làm nền tảng lưu trữ vật lý. Các HFile được phân tán trên nhiều DataNode và có thể được nhân bản theo chính sách của Hadoop nhằm giảm rủi ro mất dữ liệu.

Lớp lưu trữ này đặc biệt phù hợp với tập dữ liệu lớn vì dung lượng có thể tăng bằng cách bổ sung máy chủ. HBase tập trung quản lý cách dữ liệu được tổ chức và truy xuất, còn HDFS chịu trách nhiệm lưu trữ các khối dữ liệu bên dưới.

Write-Ahead Log

Trước khi một thay đổi được xem là ghi thành công, HBase sẽ lưu thông tin vào Write-Ahead Log. Bản ghi nhật ký đóng vai trò như phương án dự phòng trong trường hợp RegionServer dừng hoạt động trước khi dữ liệu được chuyển xuống HDFS.

Khi cần khôi phục, hệ thống đọc lại WAL để tái tạo những thao tác còn dang dở. Cơ chế này giúp hạn chế mất dữ liệu trong quá trình ghi liên tục.

MemStore

Dữ liệu mới không được đưa ngay xuống ổ đĩa mà trước tiên được giữ trong MemStore. Tại đây, các bản ghi được sắp xếp theo RowKey, giúp HBase gom nhiều thay đổi trước khi thực hiện một lần ghi lớn xuống HDFS.

Khi MemStore đạt ngưỡng dung lượng, quá trình flush sẽ được kích hoạt. Dữ liệu sau đó chuyển thành HFile, giải phóng bộ nhớ cho những yêu cầu ghi tiếp theo.

HFile

HFile là dạng tệp chứa mô hình dữ liệu HBase đã được lưu lâu dài trên HDFS. Sau khi tạo, nội dung trong tệp không bị cập nhật trực tiếp; các thay đổi mới sẽ hình thành thêm HFile khác.

Số lượng tệp tăng dần có thể làm chậm quá trình đọc. Vì vậy, HBase định kỳ thực hiện compaction để hợp nhất HFile, loại bỏ phiên bản dữ liệu cũ và giảm số tệp cần quét khi truy vấn.

Mô hình dữ liệu và cơ chế phân vùng trong HBase

HBase tổ chức dữ liệu theo mô hình NoSQL hướng cột và phân phối dữ liệu trên nhiều máy chủ trong cụm. Cách thiết kế này giúp hệ thống lưu trữ tập dữ liệu lớn, truy xuất nhanh theo RowKey và mở rộng linh hoạt khi nhu cầu xử lý tăng.

Mô hình dữ liệu HBase

Dữ liệu trong HBase không tuân theo cấu trúc hàng, cột cố định như cơ sở dữ liệu quan hệ. Mỗi bảng có thể chứa nhiều Column Family, trong khi số lượng cột bên trong từng hàng được điều chỉnh linh hoạt theo dữ liệu thực tế.

Một ô trong HBase thường được xác định thông qua tổ hợp RowKey, Column Family, Column Qualifier và Timestamp. Nhờ hỗ trợ nhiều phiên bản, hệ thống có thể lưu lại các giá trị cũ của dữ liệu theo từng thời điểm thay vì ghi đè ngay lập tức.

Cơ chế Auto Sharding trong HBase

Khi kích thước bảng tăng, HBase tự động chia dữ liệu thành nhiều Region dựa trên phạm vi RowKey. Mỗi Region được giao cho một RegionServer xử lý, giúp yêu cầu đọc và ghi được phân bổ trên nhiều máy chủ thay vì tập trung tại một nút.

Nếu một Region vượt quá ngưỡng dung lượng, hệ thống sẽ tách Region đó thành hai phần nhỏ hơn. HMaster tiếp tục phân phối lại các Region nhằm cân bằng tải giữa các RegionServer. Khi bổ sung máy chủ mới, cụm HBase có thể điều chuyển một phần Region sang nút mới để mở rộng năng lực xử lý.

Ưu điểm và hạn chế của Apache HBase là gì?

Apache HBase nổi bật ở khả năng lưu trữ dữ liệu lớn, mở rộng theo chiều ngang và truy xuất nhanh theo RowKey. Đổi lại, hệ thống khá phức tạp khi triển khai, đồng thời không phù hợp với các truy vấn quan hệ hoặc giao dịch nhiều bước.

Khi nào nên sử dụng HBase database?

HBase Database phù hợp với các hệ thống cần lưu trữ dữ liệu rất lớn, phát sinh liên tục và phải truy xuất nhanh theo khóa. Nền tảng đặc biệt hữu ích khi cơ sở dữ liệu quan hệ bắt đầu gặp hạn chế về khả năng mở rộng hoặc không còn phù hợp với cấu trúc dữ liệu linh hoạt.

- Lưu trữ tập dữ liệu có quy mô từ hàng terabyte đến petabyte.

- Xử lý lượng lớn thao tác đọc và ghi theo thời gian thực hoặc gần thời gian thực.

- Quản lý dữ liệu phi cấu trúc, bán cấu trúc hoặc có nhiều trường không cố định.

- Truy xuất bản ghi nhanh dựa trên RowKey hoặc quét theo một khoảng khóa liên tiếp.

- Xây dựng hệ thống log, dữ liệu IoT, lịch sử giao dịch hoặc dữ liệu chuỗi thời gian.

- Cần mở rộng theo chiều ngang bằng cách bổ sung thêm máy chủ vào cụm.

- Đã sử dụng Hadoop và muốn lưu trữ dữ liệu trực tiếp trên HDFS.

- Không yêu cầu JOIN phức tạp hoặc giao dịch ACID trên nhiều hàng, nhiều bảng.

Kết luận

HBase là gì có thể hiểu đơn giản là một cơ sở dữ liệu NoSQL phân tán, hướng cột, được tối ưu cho tập dữ liệu lớn và nhu cầu truy xuất nhanh theo RowKey. Tuy nhiên, HBase không phải lựa chọn tối ưu cho mọi bài toán. Doanh nghiệp nên cân nhắc nền tảng này khi cần lưu trữ dữ liệu quy mô lớn, ít phụ thuộc vào JOIN hoặc giao dịch phức tạp, đồng thời có đủ năng lực triển khai và vận hành một hệ thống phân tán.