Sharding là gì? Nguyên lý hoạt động, phương pháp và vai trò trong CSDL

Khi lượng dữ liệu tăng lên hàng triệu bản ghi, một máy chủ cơ sở dữ liệu duy nhất có thể nhanh chóng trở thành điểm nghẽn về lưu trữ và hiệu suất. Nhiều hệ quản trị cơ sở dữ liệu như MongoDB hỗ trợ sharding để phân chia dữ liệu thành nhiều phần và phân phối trên các máy chủ khác nhau. Cùng Viettel IDC tìm hiểu cụ thể hơn Sharding là gì trong bài viết sau.

Sharding là gì?

Sharding (hay phân mảnh dữ liệu) là một kỹ thuật kiến trúc cơ sở dữ liệu giúp chia nhỏ các bảng dữ liệu lớn thành các phân đoạn nhỏ hơn gọi là các shard. Các phân đoạn này sau đó được lưu trữ trên nhiều máy chủ (server) khác nhau thay vì dồn vào một máy chủ duy nhất.

Nguyên lý hoạt động phân mảnh cơ sở dữ liệu

Phân mảnh cơ sở dữ liệu hoạt động bằng cách chia một tập dữ liệu lớn thành nhiều phần nhỏ gọi là shard và lưu chúng trên các máy chủ riêng biệt. Mỗi shard có cùng cấu trúc cơ sở dữ liệu nhưng chỉ chứa một phần bản ghi, được xác định dựa trên shard key như user_id, customer_id, vị trí địa lý hoặc khoảng thời gian.

Khi ứng dụng gửi yêu cầu đọc hoặc ghi dữ liệu, lớp định tuyến sẽ kiểm tra shard key và áp dụng quy tắc phân mảnh để xác định máy chủ cần truy cập. Truy vấn sau đó được chuyển đến shard tương ứng để xử lý, thay vì phải quét toàn bộ cơ sở dữ liệu. Với truy vấn liên quan đến nhiều shard, hệ thống sẽ gửi yêu cầu đến từng máy chủ, tổng hợp kết quả rồi trả về cho ứng dụng.

Các phương pháp phân mảnh dữ liệu

Mỗi hệ thống có đặc điểm dữ liệu, lưu lượng truy cập và yêu cầu truy vấn khác nhau. Vì vậy, doanh nghiệp cần lựa chọn phương pháp phân mảnh phù hợp để xác định dữ liệu được lưu ở đâu và giúp lớp định tuyến truy cập đúng shard khi phát sinh yêu cầu.

1. Key-based Sharding (Phân mảnh băm)

Key-based Sharding, còn gọi là Hash-based Sharding, sử dụng một hàm băm để xác định shard lưu trữ từng bản ghi. Hệ thống sẽ đưa khóa phân mảnh, chẳng hạn như ID người dùng, vào công thức toán học rồi phân phối dữ liệu đến máy chủ tương ứng.

Ví dụ, hệ thống có thể áp dụng công thức User ID mod 4 để chia dữ liệu người dùng vào bốn shard khác nhau. Cách này tương đối đơn giản, hỗ trợ tự động hóa quá trình định tuyến và có thể phân phối dữ liệu đồng đều khi khóa phân mảnh có độ đa dạng cao.

Tuy nhiên, nếu khóa chứa một số giá trị xuất hiện với tần suất quá lớn, dữ liệu vẫn có thể tập trung vào một shard và tạo ra hot shard. Ngoài ra, khi bổ sung máy chủ mới, công thức phân phối có thể thay đổi, khiến hệ thống phải tái phân mảnh và di chuyển một lượng lớn dữ liệu.

2. Range-based Sharding (Phân mảnh theo phạm vi)

Range-based Sharding phân chia dữ liệu dựa trên các khoảng giá trị liên tiếp của khóa phân mảnh. Chẳng hạn, người dùng có ID từ 1 đến 1.000 được lưu trên shard A, trong khi ID từ 1.001 đến 2.000 được lưu trên shard B.

Phương pháp này dễ thiết lập, dễ theo dõi và đặc biệt phù hợp với các truy vấn cần tìm kiếm dữ liệu trong một khoảng nhất định. Lớp định tuyến chỉ cần đối chiếu giá trị khóa với phạm vi đã thiết lập để xác định shard cần truy cập.

Hạn chế lớn nhất là nguy cơ phân phối tải không đồng đều. Nếu tất cả bản ghi mới đều được thêm vào phạm vi cuối cùng, shard chứa phạm vi đó phải xử lý phần lớn thao tác ghi, trong khi các shard cũ có thể gần như không hoạt động.

3. Directory-based Sharding (Phân mảnh dựa trên thư mục)

Directory-based Sharding sử dụng một bảng ánh xạ trung tâm để ghi lại vị trí lưu trữ của từng nhóm dữ liệu. Trước khi thực hiện truy vấn, hệ thống sẽ kiểm tra bảng này để xác định shard chứa bản ghi cần tìm.

Ví dụ, một nền tảng SaaS có thể dùng tenant_id để ánh xạ dữ liệu của từng doanh nghiệp đến các shard khác nhau:

Khi TENANT_002 gửi yêu cầu, lớp định tuyến tra cứu bảng thư mục và chuyển truy vấn đến Shard C. Nếu cần chuyển dữ liệu sang máy chủ khác, quản trị viên chỉ cần cập nhật lại thông tin ánh xạ.

Ưu điểm lớn nhất của Directory-based Sharding nằm ở tính linh hoạt cao. Quản trị viên có thể di chuyển dữ liệu giữa các shard hoặc thay đổi cách phân phối mà không cần điều chỉnh công thức băm hay cấu trúc khóa phân mảnh.

Tuy nhiên, bảng ánh xạ có thể trở thành điểm nghẽn nếu mọi truy vấn đều phải tra cứu tại đây. Nếu thư mục gặp sự cố và không có cơ chế dự phòng, toàn bộ hệ thống có thể không xác định được vị trí dữ liệu, dẫn đến gián đoạn truy cập.

4. Geographic Sharding (Phân mảnh theo vị trí địa lý)

Geographic Sharding, còn được gọi là Geo-sharding, phân phối dữ liệu dựa trên vị trí địa lý của người dùng hoặc nguồn phát sinh dữ liệu. Ví dụ, dữ liệu của người dùng tại Pháp có thể được lưu trên máy chủ thuộc Liên minh châu Âu, còn dữ liệu của người dùng Hoa Kỳ được đặt tại khu vực Bắc Mỹ.

Do dữ liệu nằm gần người dùng hơn, phương pháp này giúp giảm độ trễ và cải thiện tốc độ phản hồi của ứng dụng. Geographic Sharding cũng hỗ trợ doanh nghiệp đáp ứng các quy định về chủ quyền và nơi lưu trữ dữ liệu tại từng quốc gia hoặc khu vực, chẳng hạn như GDPR.

Dù vậy, mô hình này có thể làm tăng độ phức tạp khi đồng bộ dữ liệu, xử lý truy vấn xuyên khu vực hoặc chuyển người dùng từ khu vực địa lý này sang khu vực khác.

5. Vertical Sharding (Phân mảnh theo chiều dọc)

Vertical Sharding, còn gọi là Functional Sharding, phân chia dữ liệu theo chức năng, bảng hoặc nhóm thuộc tính thay vì chia các hàng của cùng một bảng. Chẳng hạn, khi người dùng chỉnh sửa hồ sơ, hệ thống truy cập User Shard. Khi tải ảnh lên, yêu cầu được chuyển đến Media Shard thay vì sử dụng cùng cơ sở dữ liệu với hồ sơ hoặc thanh toán.

Cách tiếp cận này giúp tách biệt các nhóm chức năng, giảm tải cho cơ sở dữ liệu trung tâm và cho phép tối ưu tài nguyên theo nhu cầu của từng loại dữ liệu. Mô hình này khá tương đồng với cách tổ chức dữ liệu trong kiến trúc microservices, nơi mỗi dịch vụ quản lý một phạm vi dữ liệu riêng.

Tuy nhiên, Vertical Sharding không giải quyết triệt để bài toán mở rộng nếu một chức năng cụ thể phát triển vượt quá khả năng xử lý của một máy chủ. Khi đó, hệ thống vẫn phải kết hợp thêm phương pháp phân mảnh theo khóa hoặc theo phạm vi để tiếp tục mở rộng.

Vai trò của database sharding trong hệ thống

Database sharding giữ vai trò quan trọng trong các hệ thống có khối lượng dữ liệu lớn hoặc lưu lượng truy cập tăng nhanh. Bằng cách chia dữ liệu thành nhiều shard và phân phối trên nhiều máy chủ, hệ thống có thể mở rộng linh hoạt hơn thay vì phụ thuộc vào một cơ sở dữ liệu duy nhất.

- Mở rộng cơ sở dữ liệu theo chiều ngang: Doanh nghiệp có thể bổ sung thêm máy chủ khi dữ liệu hoặc lưu lượng tăng, thay vì liên tục nâng cấp cấu hình cho một máy chủ trung tâm.

- Phân bổ tải xử lý: Các truy vấn đọc và ghi được phân phối sang nhiều shard, giúp giảm áp lực lên từng máy chủ và hạn chế tình trạng quá tải cục bộ.

- Cải thiện hiệu suất truy vấn: Khi dữ liệu được phân mảnh hợp lý, hệ thống chỉ cần truy cập shard chứa bản ghi cần tìm thay vì quét toàn bộ cơ sở dữ liệu.

- Tăng khả năng đáp ứng khi quy mô lớn: Sharding hỗ trợ các nền tảng có hàng triệu người dùng, giao dịch hoặc bản ghi mà vẫn duy trì tốc độ xử lý ổn định.

- Tối ưu vị trí lưu trữ dữ liệu: Với Geographic Sharding, dữ liệu có thể được đặt gần người dùng hơn để giảm độ trễ và hỗ trợ tuân thủ quy định về lưu trữ dữ liệu.

- Giảm phạm vi ảnh hưởng khi xảy ra sự cố: Nếu một shard gặp lỗi, các shard còn lại vẫn có thể tiếp tục hoạt động, miễn là hệ thống được thiết kế cơ chế dự phòng và định tuyến phù hợp.

Khó khăn khi triển khai Sharding là gì?

Sharding giúp cơ sở dữ liệu mở rộng theo chiều ngang nhưng cũng làm kiến trúc hệ thống phức tạp hơn. Doanh nghiệp cần tính toán kỹ từ khâu chọn khóa phân mảnh đến truy vấn, vận hành và mở rộng hạ tầng để tránh phát sinh điểm nghẽn mới.

Khó lựa chọn shard key phù hợp

Shard key quyết định cách dữ liệu và lưu lượng được phân phối giữa các máy chủ. Nếu khóa có độ đa dạng thấp hoặc tăng tuần tự, dữ liệu có thể dồn vào một shard, tạo ra hot shard và làm giảm hiệu quả cân bằng tải. MongoDB cũng cảnh báo shard key không phù hợp có thể dẫn đến phân phối dữ liệu không đồng đều và hình thành các chunk quá lớn.

Truy vấn xuyên shard phức tạp hơn

Khi truy vấn không chứa shard key, lớp định tuyến có thể phải gửi yêu cầu đến nhiều shard rồi tổng hợp kết quả theo cơ chế scatter-gather. Quá trình này tiêu tốn thêm CPU, bộ nhớ và băng thông mạng so với truy vấn chỉ xử lý trên một shard. Các thao tác JOIN, sắp xếp hoặc phân trang trên nhiều shard cũng có thể làm tăng độ trễ đáng kể.

Khó duy trì giao dịch và tính nhất quán

Các giao dịch liên quan đến nhiều shard cần cơ chế phối hợp để bảo đảm toàn bộ thao tác cùng thành công hoặc cùng được hoàn tác. Điều này làm tăng độ phức tạp, chi phí xử lý và nguy cơ phát sinh dữ liệu không nhất quán. Chẳng hạn, Juspay phải xây dựng cơ chế giao dịch xuyên shard cho hệ thống xử lý tới 7,6 triệu giao dịch mỗi giờ.

Tái phân mảnh tốn nhiều tài nguyên

Khi thêm máy chủ hoặc thay đổi cách phân phối, hệ thống phải di chuyển dữ liệu giữa các shard để cân bằng lại tải. Quá trình tái phân mảnh có thể tiêu tốn nhiều băng thông, CPU và tài nguyên I/O. Nếu không được kiểm soát tốt, hoạt động này còn có thể làm giảm hiệu suất ứng dụng trong thời gian triển khai.

Để thiết kế chiến lược sharding phù hợp, doanh nghiệp cần một nền tảng cơ sở dữ liệu ổn định để quản lý, vận hành và mở rộng dữ liệu hiệu quả. Viettel Database Service (vDBS) cung cấp môi trường quản trị cơ sở dữ liệu chuyên nghiệp trên hạ tầng điện toán đám mây của Viettel IDC, phù hợp với các hệ thống cần nâng cao hiệu suất, tính sẵn sàng và khả năng mở rộng. Doanh nghiệp giảm áp lực triển khai hạ tầng, sao lưu, phục hồi và vận hành cơ sở dữ liệu, từ đó tập trung nguồn lực vào phát triển ứng dụng và hoạt động kinh doanh. 

Tham khảo thông tin về dịch vụ tại:https://viettelidc.com.vn/viettel-database-service

Kết luận

Sharding là gì đã được giải thích qua nguyên lý hoạt động, các phương pháp phân mảnh dữ liệu, vai trò và những khó khăn khi triển khai thực tế. Đây là giải pháp phù hợp cho các hệ thống cần mở rộng cơ sở dữ liệu theo chiều ngang, phân bổ tải và xử lý lượng dữ liệu ngày càng lớn. Tuy nhiên, doanh nghiệp cần lựa chọn shard key hợp lý, kiểm soát truy vấn xuyên shard và xây dựng cơ chế vận hành phù hợp để tránh phát sinh điểm nghẽn mới.