Thường người ta nghĩ data warehouse chỉ có công ty lớn mới cần, nhưng thực ra data warehouse có thể dùng cho mọi loại công ty, mọi kích cỡ công ty, miễn là bạn có nhu cầu với dữ liệu thì bạn sẽ cần data warehouse. Data warehouse đóng vai trò như một “cổng” tập trung tất cả mọi loại data từ nhiều nguồn, từ quảng cáo, bán hàng, vận hành, nhân sự, tài chính, cho đến từng file Excel riêng lẻ cũng cần phải tập trung vào để bạn có cái nhìn toàn cảnh về tổ chức đang chạy ra sao.
Data warehouse là gì?
Bạn có thể tưởng tượng như sau: Bạn có nhiều loại dữ liệu khác nhau cần quản lý, bạn tạo một thư mục cha tên là “Data của tôi”, trong thư mục này bạn tạo ra các thư mục con như “Data Shopee”, “Data Facebook Ads”, “Data từ Nhanhvn”, “Data bán hàng”, “Data nhân sự”… Trong từng folder, bạn sẽ chứa các file Excel liên quan tới từng loại dữ liệu.
Và đây cũng là cách tổ chức truyền thống của một hệ thống dữ liệu thủ công, cũng là thứ mà rất nhiều tổ chức, doanh nghiệp tại Việt Nam đang áp dụng để gom data của mình lại.
Vấn đề của cách tổ chức này là:
- Dữ liệu bị lưu trữ cục bộ: data thường chỉ nằm trên máy tính của một vài cá nhân, khó để có thể đưa dữ liệu đến đúng người một cách kịp thời, chưa kể đến các rủi ro về bảo mật dữ liệu. Có thể bạn sẽ đưa các file này lên server hoặc cloud, tuy nhiên vẫn còn một số khó khăn như bên dưới.
- Dữ liệu nằm ở các định dạng khác nhau, mỗi file Excel mỗi khi, các dòng bị merge, cột bị merge, đôi khi không đồng nhất trong cả một loại dữ liệu, nên tạo khó khăn khi sử dụng và truy xuất dữ liệu.
- Dữ liệu không được trích xuất tự động: tất cả file này đều phải có nhân sự, hoặc sếp, phải tải thủ công từng file về, sắp xếp vào đúng folder được chỉ định. Nếu lỡ quên, hoặc bận việc, hoặc nhân sự hôm đó nghỉ phép, thì dữ liệu không có. Có lẽ đây là vấn đề lớn nhất trong việc tổng hợp dữ liệu bằng file thủ công.
- Dữ liệu quá lớn thì không thể xử lý tiếp: các bảng dữ liệu có nhiều cột, đôi khi chỉ vài trăm nghìn dòng là đã có thể phát sinh vấn đề chậm, giật, kể cả Excel hay Google Sheets đều có thể bị vấn đề này. Nếu dữ liệu lên tới vài triệu dòng thì sao?
Thế nên để xử lý vấn đề này, người ta tạo ra data warehouse. “Kho dữ liệu” là chỗ để gom hết mọi data vào, bạn cũng có thể tổ chức nó thành nhiều loại dữ liệu khác nhau giống các thư mục con, tuy nhiên đây là một hệ thống đã được tối ưu riêng cho việc quản lý dữ liệu nên nó tiện dụng hơn, mang tính hệ thống hơn, và mọi dữ liệu đều được đảm bảo lưu trữ vào các bảng có định dạng đồng nhất, tạo sự dễ dàng trong việc truy xuất data.
Ngoài ra, các hệ thống data warehouse thường sẽ đi kèm theo một luồng load dữ liệu tự động để cố gắng tự động hóa việc đưa dữ liệu vào data warehouse nhiều nhất có thể. Việc tự động hóa này là khâu quan trọng nhất để đưa dữ liệu vào sử dụng.
Đây là giao diện của Google BigQuery, một data warehouse phổ biến cho doanh nghiệp vừa và nhỏ tại Việt Nam. Bên trái là các loại dữ liệu, nằm bên dưới đó là các bảng dữ liệu chi tiết. Bên phải là một số dòng data mẫu đang được lưu trữ trong bảng.
Data warehouse và các luồng dữ liệu có thể giúp bạn giải quyết các vấn đề gì về việc báo cáo dữ liệu?
Dashboard tự chạy, cần là có
Đây có lẽ là vấn đề mà nhiều khách hàng Elton gặp phải nhất, vì thường là các khách hàng cũng đã nhận biết được vấn đề là phải làm báo cáo tay cực quá. Giờ có cách nào tự động hóa là xong, hài lòng. Elton giải quyết vấn đề này siêu đơn giản: vì các dịch vụ có API để trích xuất dữ liệu tự động, nên Elton chỉ cần kết nối vào và đẩy dữ liệu vào data warehouse là hoàn thành.
Ví dụ: danh sách và chi tiết đơn hàng từ Shopee, Shopee có cung cấp API, vậy thì đọc và kéo về thôi. Tương tự, danh sách và chi tiết về các chương trình quảng cáo Facebook Ads, TikTok Ads theo từng ngày cũng đã có. Kéo về luôn. Hay các dữ liệu về đơn hàng lưu trữ trong các hệ thống vận hành như Nhanh.vn, Haravan, POS Pancake, KiotViet… cũng có thể kéo về.
Bước tiếp theo là đưa data lên thành báo cáo thôi. Bạn có thể dùng các công cụ làm dashboard như PowerBI, Tableau, Looker Studio… rồi kéo dữ liệu lên, dựng thành các biểu đồ, bảng biểu. Các công cụ này thường cũng có sẵn các công cụ để bạn “trộn” dữ liệu một cách hiệu quả, hoặc bạn có thể tự viết các lệnh SQL để lấy data lên. Tùy vào khả năng và kỹ năng của tổ chức mà chọn công cụ phù hợp.
Và quan trọng là data chạy tự động, nên dashboard có thể được cập nhật kịp thời theo thực tế kinh doanh và theo nhu cầu theo dõi số liệu.
Ngay cả các hệ thống nội bộ có database riêng cũng có thể load dữ liệu vào data warehouse. Các công cụ để thực hiện chuyện đó đã xuất hiện từ rất lâu rồi, thành các tiêu chuẩn trong ngành nên cứ thế mà dùng. Đặc biệt là với các doanh nghiệp quy mô vừa và nhỏ tại Việt Nam thì đây không phải là vấn đề.
Dữ liệu tự chạy, bạn chỉ cần ngồi xem thôi, có hợp lý không nào?
Tổng hợp, kết hợp dữ liệu chéo từ các nguồn
Giả sử bạn cần tạo ra một báo cáo để xem hôm nay bạn đã chi hết bao nhiêu tiền ads, và hôm nay bạn thu được bao nhiêu tiền từ các sàn thương mại điện tử, và từ các cửa hàng offline của mình. Nếu không có data warehouse, bạn phải gom thủ công file từ từng nơi, sau đó phải làm thủ công để gom data chéo giữa các nguồn, phải VLOOKUP theo ngày để tính toán. Tất cả sẽ tạo nên những file Excel cồng kềnh, khó để bảo trì và chắc chắn là khó chia sẻ giữa các phòng ban.
Càng nhiều nguồn dữ liệu, việc trích xuất bằng file sẽ càng tốn thời gian, dễ phát sinh sai sót trong khâu tạo công thức tính toán, chưa kể còn phát sinh thêm vấn đề sai sót khi chỉnh sửa cấu trúc file cho phù hợp với nhu cầu phân tích.
Với data warehouse, việc kết hợp (JOIN) dữ liệu giữa các nguồn sẽ dễ dàng hơn nhiều, đây là tính năng mà data warehouse cũng như các công cụ vẽ biểu đồ đã có sẵn rồi. Việc tổ chức, quản lý các dữ liệu cũng gọn gàng, logic và dễ duy trì về sau, nhân sự có thay đổi thì vẫn có thể nhìn vào và biết từng loại data được xử lý như thế nào.
Đây là một dashboard template mẫu của Elton dùng để kết hợp dữ liệu quảng cáo từ Facebook Ads, Tiktok Ads, và doanh thu từ Shopee, TikTok Shop
Phát hiện vấn đề trong vận hành
Đây là một khía cạnh thú vị mà đôi khi triển khai data warehouse xong mới nhận ra, chứ nó không phải là mục tiêu ban đầu. Một trường hợp thú vị là data đơn hàng đã được đồng bộ về data warehouse, tuy nhiên vài ngày sau khi so sánh với dữ liệu trên hệ thống vận hành mới phát hiện ra có 7 đơn đã bị nhân sự xóa. Đúng ra các đơn này cần phải được chuyển sang trạng thái “Hủy” thì mới đúng quy trình, vì nếu xóa thì ảnh hưởng việc ghi nhận doanh thu.
Hay một khách hàng khác của Elton, có các đơn hàng bán cho đại lý cần liệt kê vào bảng công nợ, tuy nhiên khi lên dashboard mới phát hiện ra là trên hệ thống bán hàng quên đổi trạng thái và quên gán khách hàng. Trước đó vì chỉ dùng báo cáo thủ công từ đội sales nên không phát hiện ra vấn đề này, dẫn tới chuyện báo cáo thu hồi công nợ của kế toán bị thiếu dữ liệu.
Tất nhiên data khi về data warehouse rồi còn nhiều trò để làm lắm, ví dụ như tự động phân tích các pattern dữ liệu lên xuống ra sao, phát hiện review tiêu cực trên Shopee và cảnh báo ngay về Lark để team xử lý, hay phát hiện các đơn hàng đã quá lâu vẫn chưa được giao hàng. Khi bạn đã có dữ liệu thô trong tay, bạn có “quyền năng” mạnh hơn nhiều so với trước trong việc phân tích, hiểu hơn về tình hình kinh doanh của công ty mình.