Từ nhu cầu đến PoC Viettel Cloud NPU: Doanh nghiệp cần chuẩn bị gì?

Đưa AI vào vận hành thực tế không chỉ phụ thuộc vào model mà còn cần hạ tầng đáp ứng đúng yêu cầu của workload. PoC Viettel Cloud NPU giúp doanh nghiệp kiểm chứng workload trên môi trường NPU trước khi mở rộng triển khai, từ khả năng tương thích đến hiệu năng và mức sử dụng tài nguyên. Bài viết này hãy cùng Viettel IDC tìm hiểu  quy trình PoC, cách chuẩn bị model, dữ liệu và những tiêu chí cần đo lường để doanh nghiệp chủ động hơn khi bắt đầu thử nghiệm.

PoC Viettel Cloud NPU là gì?

Proof of Concept (PoC) là quá trình thử nghiệm trong phạm vi giới hạn nhằm kiểm chứng một công nghệ, giải pháp hoặc phương án triển khai có đáp ứng yêu cầu thực tế hay không. Thay vì đưa toàn bộ hệ thống vào vận hành ngay, doanh nghiệp lựa chọn một workload và các tiêu chí cụ thể để kiểm tra trước.

Viettel Cloud NPU (VCNPU) là dịch vụ hạ tầng NPU trên nền tảng Cloud, hướng tới các bài toán AI Inference. Đây là giai đoạn model AI đã được xây dựng và cần được đưa vào thực hiện dự đoán hoặc sinh kết quả trong ứng dụng thực tế.

Trong bối cảnh này, PoC giúp doanh nghiệp kiểm tra workload AI trên hạ tầng NPU trước khi đưa vào vận hành với quy mô lớn hơn. Thay vì chỉ dựa vào thông số của model hoặc phần cứng, doanh nghiệp có thể đánh giá trực tiếp khả năng tương thích, hiệu năng, mức sử dụng tài nguyên và chi phí của workload.

Điểm quan trọng của PoC không nằm ở việc chạy được model mà là xác định model và workload có đáp ứng yêu cầu của bài toán hay không. Kết quả thử nghiệm sẽ cung cấp cơ sở để doanh nghiệp điều chỉnh phương án hoặc tiếp tục xem xét bước triển khai tiếp theo.

Quy trình thực hiện PoC Viettel Cloud NPU

Quy trình PoC có thể triển khai theo 4 bước, từ xác định workload đến đo lường và đánh giá kết quả.

- Bước 1: Xác định bài toán và workload cần thử nghiệm: Xác định bài toán AI cần giải quyết, workload cần kiểm chứng và phạm vi thử nghiệm. Workload nên phản ánh tương đối sát nhu cầu thực tế để kết quả PoC có giá trị tham khảo cho quá trình triển khai.

- Bước 2: Chuẩn bị model và dữ liệu: Chuẩn bị model AI, framework và dữ liệu đầu vào phù hợp với workload. Model cần được kiểm tra khả năng tương thích với môi trường NPU, trong khi dữ liệu thử nghiệm nên đủ đại diện cho điều kiện sử dụng thực tế.

- Bước 3: Triển khai workload trên môi trường PoC: Đưa model và workload vào môi trường PoC với cấu hình phù hợp, sau đó thực hiện các kịch bản thử nghiệm đã xác định. Trong quá trình này, doanh nghiệp cần ghi nhận các thông số liên quan đến hiệu năng và mức sử dụng tài nguyên.

- Bước 4: Đo lường và đánh giá kết quả: Đối chiếu kết quả thử nghiệm với các tiêu chí đã đặt ra về khả năng tương thích, chất lượng, hiệu năng, tài nguyên và chi phí. Nếu kết quả chưa đáp ứng yêu cầu, doanh nghiệp có thể điều chỉnh model, dữ liệu hoặc cấu hình để tiếp tục kiểm thử trước khi xem xét mở rộng.

Doanh nghiệp cần chuẩn bị gì trước khi PoC?

Workload và model

Workload và model là hai đầu vào quan trọng nhất của một PoC AI. Doanh nghiệp cần xác định rõ workload đang xử lý loại dữ liệu nào, yêu cầu đầu ra ra sao và model nào đang được sử dụng.

Thông tin về model nên bao gồm tên model, kiến trúc, framework và cách model đang được triển khai. Nếu workload đã có trong môi trường hiện tại, doanh nghiệp cũng nên cung cấp thêm thông tin về lưu lượng xử lý, số lượng yêu cầu và yêu cầu phản hồi.

Dữ liệu đầu vào

Dữ liệu dùng cho PoC cần đủ đại diện cho workload thực tế. Đây không nhất thiết phải là toàn bộ dữ liệu của hệ thống, nhưng cần phản ánh những đặc điểm có ảnh hưởng đến quá trình inference.

Doanh nghiệp nên xác định loại dữ liệu, kích thước, định dạng và đặc điểm của dữ liệu đầu vào. Với dữ liệu hình ảnh, các yếu tố như độ phân giải hoặc kích thước ảnh có thể ảnh hưởng đến quá trình xử lý. Với dữ liệu văn bản, độ dài đầu vào và đặc điểm nội dung cũng cần được xem xét.

Môi trường và yêu cầu kỹ thuật

Bên cạnh model và dữ liệu, doanh nghiệp cần chuẩn bị các thông tin kỹ thuật liên quan đến môi trường triển khai. Trong đó có framework đang sử dụng, yêu cầu về tài nguyên, phương thức triển khai và các thành phần cần thiết để workload hoạt động.

Doanh nghiệp cũng nên xác định trước những yêu cầu quan trọng về latency, throughput và mức sử dụng tài nguyên. Nếu ứng dụng cần phản hồi nhanh, latency là chỉ số cần được ưu tiên theo dõi. Nếu hệ thống phải xử lý nhiều yêu cầu đồng thời, throughput sẽ có vai trò quan trọng hơn.

Đánh giá PoC dựa trên những tiêu chí nào?

Khả năng tương thích và chất lượng kết quả

Trước tiên, cần kiểm tra model, kiến trúc và framework có tương thích với môi trường NPU hay không. Sau đó, đánh giá chất lượng đầu ra để xác định workload có đáp ứng yêu cầu của bài toán thực tế hay không.

Hiệu năng inference

Hai chỉ số cần quan tâm là latency và throughput. Latency cho biết thời gian xử lý một yêu cầu, còn throughput phản ánh khả năng xử lý workload trong một khoảng thời gian. Các chỉ số nên được đo trên workload và dữ liệu thực tế để kết quả có giá trị tham khảo.

Tài nguyên và chi phí

Theo dõi mức sử dụng CPU, bộ nhớ và các tài nguyên liên quan giúp xác định cấu hình có phù hợp với workload hay không. Kết quả PoC cần được xem xét đồng thời với hiệu năng và chi phí để lựa chọn phương án đáp ứng nhu cầu mà vẫn tối ưu nguồn lực.

Checklist trước khi bắt đầu PoC Viettel Cloud NPU

Trước khi bắt đầu thử nghiệm, doanh nghiệp có thể rà soát nhanh các đầu vào quan trọng để tránh thiếu thông tin trong quá trình đánh giá:

- Bài toán: Đã xác định rõ workload AI cần kiểm chứng và phạm vi PoC.

- Model: Có thông tin về model, kiến trúc và framework đang sử dụng.

- Dữ liệu: Có tập dữ liệu đủ đại diện cho workload thực tế.

- Môi trường: Xác định các yêu cầu kỹ thuật và thành phần cần thiết để triển khai.

- Hiệu năng: Xác định yêu cầu về latency và throughput.

- Chất lượng: Xác định tiêu chí để đánh giá kết quả inference.

- Tài nguyên: Xác định các tài nguyên cần theo dõi trong quá trình thử nghiệm.

- Chi phí: Có tiêu chí để đánh giá mức độ phù hợp giữa hiệu năng và chi phí.

- Kết quả: Xác định trước cách sử dụng kết quả PoC để quyết định điều chỉnh hoặc mở rộng.

Checklist này giúp doanh nghiệp chuyển từ một nhu cầu AI chung sang một phạm vi thử nghiệm cụ thể. Khi đầu vào đã được chuẩn hóa, quá trình trao đổi kỹ thuật và đánh giá workload cũng trở nên rõ ràng hơn.

Kết luận

PoC là bước quan trọng giúp doanh nghiệp kiểm chứng workload AI trên hạ tầng thực tế trước khi mở rộng triển khai. Với Viettel Cloud NPU, việc xác định đúng workload, chuẩn bị model và dữ liệu phù hợp, đồng thời xây dựng tiêu chí đánh giá rõ ràng sẽ giúp quá trình thử nghiệm có kết quả đáng tin cậy hơn. Từ các kết quả về khả năng tương thích, hiệu năng, tài nguyên và chi phí, doanh nghiệp có thể xác định phương án phù hợp cho nhu cầu thực tế. 

Đăng ký tư vấn, đánh giá workload và xây dựng phương án PoC tại https://viettelidc.com.vn/viettel-cloud-npu