Presto là gì? Những điều cần biết về công cụ truy vấn dữ liệu phân tán

Presto là công cụ truy vấn SQL phân tán được sử dụng để phân tích dữ liệu lớn từ nhiều nguồn khác nhau. Vậy Presto là gì và vì sao công nghệ này được ứng dụng trong các hệ thống dữ liệu hiện đại? Bài viết dưới đây sẽ làm rõ cơ chế hoạt động, vai trò, ưu nhược điểm và cách tối ưu hiệu năng của Presto. Cùng Viettel IDC theo dõi nhé. 

Presto là gì?

Presto là một công cụ truy vấn SQL phân tán mã nguồn mở, được thiết kế để thực hiện các truy vấn phân tích trên tập dữ liệu lớn. Presto không phải hệ quản trị cơ sở dữ liệu và không đảm nhiệm vai trò lưu trữ dữ liệu. Thay vào đó, công cụ này hoạt động ở lớp xử lý truy vấn, kết nối với các nguồn dữ liệu thông qua Connector và thực thi SQL trên Cluster gồm nhiều node.

Điểm nổi bật của Presto là khả năng truy vấn dữ liệu nằm trên nhiều hệ thống khác nhau mà không nhất thiết phải di chuyển toàn bộ dữ liệu về một nơi. Người dùng vẫn có thể sử dụng SQL để truy vấn các nguồn dữ liệu được Presto hỗ trợ, từ Database quan hệ đến Data Lake, NoSQL và nhiều nền tảng dữ liệu khác.

Presto đặc biệt phù hợp với các bài toán phân tích dữ liệu, Ad-hoc Query và Interactive Analytics. Thay vì phải xây dựng một Pipeline ETL riêng cho từng nhu cầu phân tích, doanh nghiệp có thể sử dụng Presto làm lớp truy vấn để khai thác trực tiếp dữ liệu từ các nguồn phù hợp.

Vai trò của Presto

Presto đóng vai trò là lớp truy vấn và xử lý nằm giữa người dùng hoặc ứng dụng phân tích với các nguồn dữ liệu. Công cụ tiếp nhận câu lệnh SQL, lập kế hoạch thực thi, phân phối công việc đến các node trong Cluster và tổng hợp kết quả trả về. Vai trò này đặc biệt hữu ích khi dữ liệu của doanh nghiệp được lưu trữ phân tán trên nhiều hệ thống. Dữ liệu giao dịch có thể nằm trong MySQL hoặc PostgreSQL, dữ liệu phân tích được lưu trên Data Lake, trong khi log và dữ liệu sự kiện được quản lý bởi các nền tảng chuyên biệt.

Ngoài ra, Presto cũng hỗ trợ các nhu cầu phân tích tương tác. Data Analyst hoặc Data Engineer có thể thực hiện các truy vấn Ad-hoc để khám phá dữ liệu, kiểm tra giả thuyết hoặc tạo báo cáo mà không nhất thiết phải xây dựng một Pipeline dữ liệu mới cho từng yêu cầu.

Một vai trò khác của Presto là hỗ trợ truy vấn liên nguồn. Trong những trường hợp phù hợp, dữ liệu từ các hệ thống khác nhau có thể được truy vấn và kết hợp trong cùng một câu lệnh SQL. Điều này giúp doanh nghiệp khai thác dữ liệu phân tán hiệu quả hơn mà không phải sao chép toàn bộ dữ liệu sang một hệ thống trung gian.

Cơ chế hoạt động của Presto

Client gửi truy vấn SQL

Quá trình bắt đầu khi người dùng hoặc ứng dụng gửi câu lệnh SQL đến Presto. Client có thể là công cụ dòng lệnh, ứng dụng sử dụng JDBC hoặc các công cụ Business Intelligence được tích hợp với Presto. Sau khi nhận Query, Presto tiến hành phân tích cú pháp và xác định các bảng, cột, phép tính, điều kiện lọc hoặc phép JOIN được sử dụng.

Coordinator phân tích và lập kế hoạch truy vấn

Coordinator là thành phần chịu trách nhiệm điều phối Query. Nó tiếp nhận câu lệnh SQL, phân tích cấu trúc truy vấn và xây dựng Execution Plan. Query Plan xác định các bước cần thực hiện để tạo ra kết quả cuối cùng. Với những truy vấn phức tạp, Presto có thể áp dụng các cơ chế tối ưu để lựa chọn cách thực thi phù hợp hơn. Coordinator không trực tiếp xử lý toàn bộ dữ liệu. Thay vào đó, nó điều phối công việc và phân phối các Task đến Worker trong Cluster.

Worker xử lý dữ liệu song song

Worker là các node thực hiện phần lớn công việc xử lý dữ liệu. Mỗi Worker có thể thực hiện các thao tác như đọc dữ liệu, lọc, JOIN, Aggregation, Sorting và xử lý biểu thức SQL. Một Query lớn được chia thành nhiều phần để các Worker xử lý đồng thời. Nhờ đó, Presto tận dụng được tài nguyên của nhiều node thay vì phụ thuộc vào một máy chủ duy nhất. Khả năng xử lý song song giúp Presto phù hợp với những tập dữ liệu lớn và workload phân tích cần nhiều tài nguyên tính toán.

Query được chia thành Stage, Task và Split

Trong quá trình thực thi, Query được tổ chức thành các Stage và Task. Task là đơn vị công việc được thực hiện bởi Worker. Dữ liệu đầu vào cũng được chia thành các Split để nhiều Task có thể xử lý song song. Ví dụ, khi truy vấn dữ liệu được lưu trong nhiều file trên Data Lake, các file hoặc phần dữ liệu phù hợp có thể được phân phối cho nhiều Worker.

Các Worker trao đổi dữ liệu trung gian

Một số Query yêu cầu dữ liệu được trao đổi giữa các Worker. Điều này thường xảy ra trong những phép JOIN, GROUP BY hoặc các thao tác cần phân phối lại dữ liệu. Quá trình trao đổi dữ liệu sử dụng Network và Memory của Cluster. Vì vậy, những Query có lượng dữ liệu trung gian lớn có thể tạo ra áp lực đáng kể lên hệ thống.

Kết quả được tổng hợp và trả về Client

Sau khi các Task hoàn thành, kết quả được tổng hợp theo Execution Plan và trả về Client. Người dùng nhận được kết quả cuối cùng mà không cần trực tiếp quản lý quá trình xử lý phân tán phía sau.

Presto có thể truy vấn dữ liệu từ nhiều nguồn không?

Presto có thể truy vấn dữ liệu từ nhiều nguồn khác nhau thông qua Connector mà không yêu cầu doanh nghiệp phải gom toàn bộ dữ liệu về một nơi trước. Đây cũng là một trong những điểm mạnh của Presto khi làm việc với kiến trúc dữ liệu phân tán. Mỗi Connector đảm nhiệm việc kết nối Presto với một loại Data Source cụ thể, chẳng hạn Database quan hệ, Data Lake, NoSQL hoặc các hệ thống lưu trữ khác. Nhờ đó, người dùng có thể truy cập nhiều nguồn dữ liệu bằng SQL thay vì phải sử dụng một công cụ riêng cho từng hệ thống.

Presto quản lý các nguồn dữ liệu thông qua Catalog, Schema và Table. Khi nhận một Query, Presto dựa vào Catalog và Connector tương ứng để xác định dữ liệu nằm ở đâu và cách truy cập nguồn dữ liệu đó.

Điểm đáng chú ý là Presto còn hỗ trợ Federated Query, cho phép truy vấn và kết hợp dữ liệu từ nhiều nguồn trong cùng một câu SQL. Ví dụ, thông tin khách hàng có thể nằm trong PostgreSQL, dữ liệu giao dịch được lưu trên Data Lake, trong khi dữ liệu ứng dụng nằm ở một hệ thống khác. Nếu các nguồn này có Connector phù hợp và Query được thiết kế đúng, Presto có thể truy cập chúng thông qua một lớp SQL thống nhất.

Tuy nhiên, truy vấn được nhiều nguồn không có nghĩa là mọi Query đều đạt hiệu suất cao. Khi phải đọc lượng dữ liệu lớn hoặc JOIN dữ liệu giữa các hệ thống có tốc độ phản hồi khác nhau, Network và chính Data Source có thể trở thành điểm nghẽn. Vì vậy, Presto phát huy hiệu quả tốt nhất khi Connector, cách viết Query và kiến trúc dữ liệu được thiết kế phù hợp với workload thực tế.

Cách tối ưu hiệu năng truy vấn trên Presto

Giảm lượng dữ liệu cần đọc

Nguyên tắc quan trọng là chỉ đọc những dữ liệu thực sự cần thiết. Không nên sử dụng SELECT * nếu Query chỉ cần một vài cột. Việc giới hạn cột cần đọc giúp giảm I/O, lượng dữ liệu truyền và Memory cần thiết trong quá trình xử lý.

Tối ưu Partition

Partition phù hợp giúp Presto loại bỏ những phần dữ liệu không liên quan đến Query. Với dữ liệu lớn, thiết kế Partition theo những trường thường xuyên xuất hiện trong điều kiện lọc có thể giúp giảm lượng dữ liệu phải Scan. Tuy nhiên, không nên tạo quá nhiều Partition nhỏ vì điều này có thể làm tăng Metadata và tạo thêm overhead trong quá trình xử lý. Partition cần được thiết kế dựa trên kích thước dữ liệu và nhu cầu truy vấn thực tế.

Sử dụng định dạng dữ liệu phù hợp

Đối với workload phân tích trên Data Lake, các định dạng Columnar như Parquet và ORC thường phù hợp vì dữ liệu được tổ chức theo cột. Khi Query chỉ yêu cầu một số cột, hệ thống có thể tránh đọc toàn bộ dữ liệu không cần thiết nếu Data Source và Connector hỗ trợ cơ chế phù hợp. Việc lựa chọn định dạng dữ liệu vì vậy có ảnh hưởng trực tiếp đến I/O và hiệu năng Query.

Tối ưu truy vấn JOIN

JOIN giữa các bảng lớn thường là một trong những thao tác tốn tài nguyên. Trước khi thực hiện JOIN, nên giảm lượng dữ liệu thông qua điều kiện lọc phù hợp. Với các Query liên nguồn, cần đặc biệt chú ý đến lượng dữ liệu phải truyền giữa các hệ thống. Một JOIN giữa hai tập dữ liệu lớn nằm ở hai Data Source khác nhau có thể tạo ra lượng Network Traffic đáng kể.

Sử dụng EXPLAIN để kiểm tra Query Plan

EXPLAIN giúp người dùng kiểm tra cách Presto dự kiến thực hiện một Query. Đây là công cụ quan trọng để phát hiện những vấn đề liên quan đến Scan, JOIN hoặc các bước xử lý trong Execution Plan. Thay vì chỉ dựa vào thời gian chạy, đội ngũ kỹ thuật có thể phân tích Query Plan để xác định nguyên nhân khiến Query tiêu tốn nhiều tài nguyên.

Quản lý tài nguyên Cluster

Trong môi trường có nhiều người dùng, việc quản lý tài nguyên cần được thực hiện song song với tối ưu Query. CPU, Memory, Network, số lượng Query đồng thời và thời gian thực thi cần được theo dõi thường xuyên. Những workload có mức độ ưu tiên khác nhau cũng nên được quản lý phù hợp để tránh ảnh hưởng lẫn nhau.

Kết luận

Presto là công cụ truy vấn SQL phân tán, phù hợp với nhu cầu phân tích dữ liệu lớn và khai thác dữ liệu từ nhiều nguồn. Công nghệ này nổi bật nhờ khả năng xử lý song song, hỗ trợ Federated Query và cung cấp lớp SQL thống nhất cho môi trường dữ liệu phân tán. Tuy nhiên, Presto không thay thế hệ thống lưu trữ và hiệu năng vẫn phụ thuộc vào Query, Data Source và cấu hình Cluster. Việc tối ưu Partition, JOIN, lượng dữ liệu Scan và tài nguyên là yếu tố quan trọng để khai thác hiệu quả Presto.