Một trong những “nỗi đau” của các khách hàng hiện nay đó là làm sao để hỏi và có dữ liệu nhanh nhất có thể, không phải chờ đợi. Dashboard thì đã có rồi đó nhưng thỉnh thoảng có những câu hỏi dạng “ad-hoc” thì cũng không biết hỏi ai, hoặc hỏi nhân sự phụ trách thì cũng phải chờ đợi. Đôi khi chỉ số không có sẵn thì phải chờ chuẩn bị nữa. Thế nên mình làm ra một công cụ mới tên là Elton DataUtils, hiện tại đang ở bước thử nghiệm với vài khách hàng, sắp tới sẽ mở rộng ra sau.
Hệ thống này sử dụng AI để giúp tăng tốc trong việc kết nối và phân tích dữ liệu, giảm công việc cho các team làm số, trong khi thúc đẩy được việc tìm hiểu và hỏi dữ liệu bằng ngôn ngữ tự nhiên. Hãy tưởng tượng nó giống ChatGPT hay Gemini, nhưng có thêm ngữ cảnh là các kiến thức đặc thù của công ty bạn, và dữ liệu cũng là của bạn.
Cách hoạt động của Elton DataUtils rất đơn giản:
- Dùng AI kết nối thẳng vào data warehouse của công ty, dữ liệu giờ không còn nằm yên mà nó sẽ rất động, bản thân Elton Data cũng có data, LightOn cũng có nhiều data, rồi các khách hàng của mình cũng có data. Vậy làm sao để nó có thể trả lời nhanh các câu hỏi của các phòng ban dạng adhoc? Dashboard thì có rồi đó, nhưng nhiều khi muốn hỏi nhanh cái gì đó mà dashboard không có sẵn thì non-tech user rất khó để làm. Tự viết SQL thì cũng cực vì không biết đúng sai. Thế nên tận dụng các datamart đã được xây dựng sẵn, kết nối AI vào để nó đọc schema, đọc sample data, rồi tự tạo SQL, tự chạy câu SQL để lấy data, rồi trả về kết quả
- Nhưng mà trả về kết quả không mà không có "business context" thì lại dở, ví dụ trong giai đoạn tháng 1 này có camp Tết mà AI làm sao biết được nội bộ đang làm gì? Hoặc các ghi chú nội bộ dạng "chi phí chạy ads không quá 500k / ngày", hay "khách hàng ưu tiên sẽ cần push sales các sản phẩm A, B, C" => Thế là làm thêm phần Knowledge Base để nhập hết mọi kiến thức mà mọi người trong công ty đang có, kể cả một số quy định các thứ vào.
- Có Knowledge Base, có DWH => kết hợp knowledge + data để đưa ra insights hiệu quả hơn.
- Nhưng ngặt cái mỗi loại dữ liệu sẽ có cách viết query khác nhau, ví dụ data CRM nó lấy kiểu khác, còn data Facebook Ads, data từ POS nó lại cần viết SQL kiểu khác. Thế là kết hợp schema của BigQuery có ghi chú cột gì làm gì, và một bộ "AI SKILLS" ra đời riêng cho từng datamart để giảm thiểu rủi ro SQL bị sai (do datamart là bảng đã tổng hợp, làm sạch sẵn nên thường cũng không cần join gì, chỉ cần filter theo nhiều cột là ra).
- Việc lấy bộ SKILL và bộ Knowledge Base nào tương ứng với câu hỏi của User thì mình dùng Gemini để chuyển câu hỏi thành phân tích ý định (intent analysis), lấy keyword, coi có cần viết SQL hay không, nên lấy KB nào, rồi lấy từ database ra. Mình đang nghiên cứu thêm việc chỉ định SKILL ứng với từng bộ data trong datawarehouse, như vậy sẽ đảm bảo rằng hệ thống sẽ trích xuất theo đúng ý đồ nhất có thể.
- Và tất nhiên không thể thiếu việc phân quyền: ai được access datamart nào, thậm chí đến từng table đều phải được check. Trước khi chạy câu SQL là đều check quyền hết để đảm bảo data không bị lọt.
- Ở Elton thì bọn mình làm việc với SQL mỗi ngày, thậm chí có ngày viết SQL còn nhiều hơn code BE FE, nên làm thêm 1 con gọi là "SQL Assist" để hỗ trợ cho anh chị em DA, DE, AE để viết query, explore data nhanh gọn lẹ hơn. Bữa giờ mình dành thời gian cho SQL Assist ngang thời gian với giao diện của BigQuery luôn.
Nhận xét ban đầu của các anh chị chủ doanh nghiệp, hoặc C-Level, hoặc manager level khá tích cực với những gì mà DataUtils có thể đem lại. Mình sẽ tiếp tục triển khai thêm, có gì mới mình sẽ chia sẻ thêm với mọi người sau nhé.