Bỏ qua điều hướng, tới nội dung chính
TOPSEEDING · REPORTS & INSIGHTS
Về chúng tôiMinh bạchLiên hệ
TOPSEEDING SEEDING MARKETING Liên hệ Nhận tư vấn
Data & Methodology 13 phút đọc (2.577 từ)

Dữ liệu thiếu trong báo cáo: bỏ, điền hay ghi rõ là thiếu?

Ô trống trong bảng dữ liệu không phải một giá trị bằng không. Bài viết phân loại bốn dạng thiếu, nêu cách xử lý từng dạng và vì sao điền bằng số trung bình thường làm sai kết luận.

admin
admin

Mọi tập dữ liệu chiến dịch đều có ô trống. Nền tảng không trả về một chỉ số ở một số ngày, một kênh không lấy được dữ liệu cấp bản ghi, một đợt thu bị lỗi công cụ, hoặc một trường chỉ được thêm vào từ giữa kỳ nên các bản ghi trước đó không có.

Cách xử lý các ô trống này ảnh hưởng tới kết luận nhiều hơn phần lớn quyết định phân tích khác, và nó gần như luôn được làm bằng thao tác mặc định của công cụ chứ không bằng một quyết định có ý thức. Hai thao tác mặc định phổ biến nhất — coi ô trống là không, và bỏ dòng có ô trống — đều tạo ra lệch có hệ thống.

01 Trống không đồng nghĩa với bằng không

Đây là lỗi cơ bản nhất và cũng phổ biến nhất, vì phần lớn công cụ bảng tính xử lý ô trống như số không khi tính tổng. Ba trạng thái cần được phân biệt và ghi bằng ba cách khác nhau trong dữ liệu: đại lượng đã được đo và bằng không, đại lượng không đo được, và đại lượng không áp dụng cho bản ghi này.

Ví dụ cụ thể để thấy hậu quả: một bảng theo ngày có cột số bình luận, trong đó ba ngày là không có bình luận nào và hai ngày là công cụ thu không chạy. Nếu cả năm ngày đều để trống rồi tính trung bình theo cách bỏ ô trống, hai ngày lỗi công cụ bị loại đúng nhưng ba ngày thật sự bằng không cũng bị loại, và trung bình bị đẩy lên cao hơn thực tế.

Nếu cả năm ngày đều được điền số không, hai ngày lỗi công cụ bị tính như ngày không có hoạt động, và trung bình bị kéo xuống. Cùng một tập dữ liệu, hai cách xử lý cho hai kết quả lệch về hai hướng ngược nhau, và cả hai đều sai.

Quy tắc vận hành đơn giản và cần được đặt ngay từ bước thu: dùng một mã riêng cho từng trạng thái, ví dụ để trống nghĩa là không đo được, ghi số không nghĩa là đã đo và bằng không, ghi một mã cụ thể cho trường không áp dụng. Việc này không tốn gì lúc thu và không làm được lúc phân tích nếu lúc thu chưa làm.

02 Bốn dạng thiếu và cách xử lý

Dạng thiếu Ví dụ Có gây lệch không Cách xử lý
Thiếu ngẫu nhiên Lỗi công cụ thu vài giờ, không liên quan nội dung Không, chỉ giảm cỡ mẫu Bỏ bản ghi thiếu, ghi số bản ghi đã bỏ
Thiếu theo nhóm quan sát được Một kênh không cho lấy dữ liệu bình luận Có, nếu không tách theo kênh Báo riêng theo kênh, không gộp vào mẫu số chung
Thiếu liên quan tới chính giá trị Bình luận bị xóa nên không thu được nội dung Có, và lệch mạnh nhất Không điền; báo tỷ lệ thiếu và nêu hướng lệch
Thiếu do trường mới thêm giữa kỳ Trường phân loại ý định thêm từ tuần thứ năm Có, nếu so sánh theo thời gian Chỉ tính từ mốc có dữ liệu; ghi mốc bắt đầu

Dòng thứ ba là dòng quan trọng nhất trong bảng và cũng là dòng dễ bị xử lý sai nhất. Khi lý do dữ liệu thiếu có liên quan tới chính giá trị của nó, mọi cách điền đều làm lệch theo hướng có hệ thống. Trường hợp bình luận bị xóa là ví dụ rõ: các bình luận bị xóa có tỷ lệ nội dung tiêu cực hoặc vi phạm cao hơn phần còn lại, nên bỏ chúng làm bức tranh trông tốt hơn thực tế.

Dòng thứ hai xảy ra ở gần như mọi chiến dịch đa kênh và cách xử lý của nó là cách xử lý bằng trình bày, không bằng tính toán. Khi một kênh không có dữ liệu cho một chỉ số, kênh đó phải nằm ngoài mẫu số của chỉ số đó, và điều này cần được ghi ngay dưới bảng thay vì để người đọc tự suy.

03 Vì sao điền bằng số trung bình gần như luôn sai

Điền ô trống bằng giá trị trung bình của cột là cách xử lý được gợi ý trong nhiều tài liệu nhập môn và nó tạo ra ba vấn đề mà người dùng thường không thấy.

Vấn đề thứ nhất là nó làm giảm giả tạo mức biến động của dữ liệu. Mọi giá trị điền đều nằm đúng ở tâm, nên độ phân tán tính ra nhỏ hơn thực tế, và mọi kết luận về việc một khác biệt có vượt dao động thường ngày hay không đều bị đẩy về hướng khẳng định. Đây là cách tạo ra kết luận sai mà không ai cố ý.

Vấn đề thứ hai là nó xóa dấu vết. Sau khi điền, không phân biệt được giá trị nào là số đo và giá trị nào là số suy ra, nên người đọc lại dữ liệu sau vài tháng không biết phần nào đáng tin. Nếu buộc phải điền, phải giữ một cột đánh dấu bản ghi nào đã được điền.

Vấn đề thứ ba nghiêm trọng hơn hai vấn đề trên: việc điền tạo cảm giác tập dữ liệu đã đầy đủ, nên câu hỏi vì sao thiếu không được đặt ra. Trong phần lớn trường hợp, chính lý do thiếu là thông tin có giá trị nhất — nó cho biết một kênh không đo được, một khâu thu bị lỗi hệ thống, hoặc một loại nội dung đang bị nền tảng xóa.

Có một trường hợp việc điền chấp nhận được: chuỗi thời gian liên tục có thiếu vài điểm rải rác giữa các điểm đã biết, và mục đích là vẽ hình chứ không phải tính chỉ số. Ngay cả khi đó, phần điền nên được thể hiện bằng đường nét khác trên hình để người đọc nhìn thấy đâu là số đo.

04 Ngưỡng nào thì không nên báo chỉ số

Câu hỏi thực dụng nhất về dữ liệu thiếu là ở mức thiếu bao nhiêu thì một chỉ số không nên được báo. Không có ngưỡng chung, nhưng có ba quy tắc dùng được và chúng nên được thống nhất trước kỳ báo cáo.

Quy tắc thứ nhất áp dụng cho dạng thiếu ngẫu nhiên: dưới một phần mười thì báo bình thường kèm ghi số bản ghi đã bỏ; từ một phần mười tới ba phần mười thì báo kèm cảnh báo về độ tin cậy; trên ba phần mười thì không báo con số mà chỉ mô tả tình trạng dữ liệu.

Quy tắc thứ hai áp dụng cho dạng thiếu có liên quan tới giá trị: ngưỡng thấp hơn nhiều, vì lệch không giảm theo tỷ lệ thiếu. Với dạng này, ngay ở mức một phần hai mươi cũng cần nêu rõ, và cần nêu cả hướng lệch — kết quả đang trông tốt hơn hay kém hơn thực tế.

Quy tắc thứ ba áp dụng cho việc so sánh giữa các nhóm: nếu tỷ lệ thiếu khác nhau đáng kể giữa hai nhóm đang so, phép so sánh không dùng được bất kể tỷ lệ thiếu tuyệt đối là bao nhiêu. Đây là tình huống hay gặp khi so hai kênh mà một kênh cho lấy dữ liệu đầy đủ hơn kênh kia.

Điều nên tránh trong mọi trường hợp: báo một chỉ số mà không báo mẫu số thật đã dùng để tính. Một tỷ lệ tính trên bảy mươi phần trăm dữ liệu vẫn có ích, nhưng chỉ khi con số bảy mươi phần trăm đó được nêu cùng chỗ.

05 Ghi lý do thiếu thành dữ liệu, không thành ghi chú

Cách xử lý bền nhất cho dữ liệu thiếu không nằm ở bước phân tích mà nằm ở bước thu: thêm một trường ghi lý do không có giá trị. Trường này rẻ tới mức không có lý do bỏ và nó chuyển toàn bộ vấn đề từ chỗ phải suy đoán sang chỗ tra được.

Bộ mã tối thiểu gồm năm giá trị: không đo được vì nền tảng không cung cấp, không đo được vì lỗi công cụ thu, đã đo và bằng không, không áp dụng cho bản ghi này, và nội dung đã bị xóa trước khi thu. Năm mã này bao được gần hết các tình huống thực tế trong dữ liệu chiến dịch.

Mã cuối cùng là mã có giá trị cao nhất và ít nơi ghi nhất. Tỷ lệ bản ghi thuộc mã này là một chỉ số về tình trạng nội dung mà không có cách nào khác để có được, và nó thường là dấu hiệu sớm nhất của việc nội dung đang bị nền tảng hoặc nhóm hạn chế.

Trong hợp đồng với bên thực thi, yêu cầu này cần được ghi thành một dòng cụ thể: bản ghi giao theo tuần phải kèm trường lý do cho các giá trị trống, theo bộ mã đã thống nhất. Yêu cầu chung là dữ liệu đầy đủ sẽ dẫn tới việc các ô trống được điền bằng số không, và đó là kết quả tệ hơn việc có ô trống.

06 Bốn lỗi thường gặp khi báo cáo có dữ liệu thiếu

Tính tỷ lệ trên tổng số bản ghi dự kiến thay vì số bản ghi có dữ liệu. Việc này làm mọi tỷ lệ bị kéo xuống theo đúng tỷ lệ thiếu, và nó thường bị đọc là hiệu quả kém đi. Mẫu số phải là số bản ghi thực sự có dữ liệu cho chỉ số đó, và mẫu số đó phải được in ra.

Gộp các kỳ có mức độ đầy đủ dữ liệu khác nhau rồi so sánh. Nếu tuần đầu thu được đầy đủ và tuần thứ hai mất một phần dữ liệu, khác biệt giữa hai tuần phần lớn phản ánh chất lượng thu chứ không phản ánh hoạt động. Cần kiểm mức đầy đủ trước mọi so sánh theo thời gian.

Điền dữ liệu thiếu của một kênh bằng số của kênh khác. Cách làm này xuất hiện dưới dạng suy ra theo tỷ lệ và nó không có cơ sở, vì các kênh khác nhau về cả mức độ lẫn cấu trúc hành vi. Kết quả là một con số trông hợp lý mà không đo hiện tượng nào.

Không nêu tỷ lệ thiếu vì sợ báo cáo trông kém. Điều này làm ngược lại tác dụng mong muốn: một báo cáo nêu rõ mức đầy đủ dữ liệu đáng tin hơn một báo cáo có mọi ô đều đầy. Người đọc có kinh nghiệm sẽ đặt câu hỏi về tập dữ liệu hoàn hảo, và lúc đó việc giải thích khó hơn nhiều.

07 Checklist cần nhớ

  • Phân biệt ba trạng thái: đã đo bằng không, không đo được, không áp dụng.
  • Thêm trường lý do thiếu theo bộ mã thống nhất ngay ở bước thu.
  • Xác định dạng thiếu trước khi chọn cách xử lý; dạng liên quan tới giá trị thì không điền.
  • Không điền bằng số trung bình; nếu buộc phải điền thì giữ cột đánh dấu.
  • Luôn in mẫu số thật đã dùng để tính mỗi chỉ số.
  • Không so sánh hai nhóm có tỷ lệ thiếu khác nhau đáng kể.
  • Kiểm mức đầy đủ dữ liệu của từng kỳ trước khi so sánh theo thời gian.

08 Đọc tiếp trong hệ sinh thái

Bỏ gì giữ gì khi làm sạch: làm sạch dữ liệu trước khi tính. Mẫu số và phạm vi phải đi kèm: cỡ mẫu và phạm vi dữ liệu. Định nghĩa trường và bộ mã: data dictionary. Trình bày mức đầy đủ trong bảng: trình bày số liệu không bóp méo. Yêu cầu bản ghi kèm trường lý do: audit trail seeding.

09 Câu hỏi thường gặp

Nền tảng không cho lấy một chỉ số thì bỏ chỉ số đó khỏi báo cáo luôn không?

Không bỏ khỏi báo cáo mà bỏ khỏi phần tổng hợp, và đây là hai việc khác nhau. Chỉ số vẫn nên xuất hiện trong bảng theo kênh với ô ghi rõ không lấy được kèm lý do, vì bản thân thông tin kênh nào không đo được là thông tin cần cho việc lập kế hoạch kỳ sau và cho việc chọn kênh. Điều phải làm là loại kênh đó khỏi mẫu số khi tính chỉ số chung, và ghi ngay dưới bảng rằng chỉ số này tính trên những kênh nào. Với các kênh không lấy được dữ liệu ở mức cần thiết, cách bù dùng được là chọn một chỉ số thay thế mà kênh đó có, cộng với việc kiểm mẫu bằng tay trên một số bản ghi để có cơ sở mô tả. Điều không nên làm là suy ra giá trị cho kênh thiếu từ các kênh khác, vì mức độ và cấu trúc hành vi giữa các nền tảng không quy về nhau được.

Nhà cung cấp giao bảng có nhiều ô trống thì yêu cầu thế nào?

Yêu cầu phân loại trước, yêu cầu bổ sung sau, vì hai loại thiếu cần hai cách xử lý khác nhau. Việc đầu tiên là yêu cầu họ điền trường lý do cho từng ô trống theo bộ mã đã thống nhất; nếu bộ mã chưa có trong hợp đồng thì đây là lúc thêm vào cho các kỳ sau. Sau khi có lý do, các ô trống do lỗi công cụ thu hoặc do bỏ sót thao tác là phần yêu cầu bổ sung được, và cần đặt thời hạn cụ thể. Các ô trống do nền tảng không cung cấp thì không bổ sung được và cần được chuyển thành một mục trong phần ghi chú phương pháp của báo cáo. Điều nên tránh là yêu cầu chung rằng bảng phải đầy đủ, vì cách nhanh nhất để đáp ứng yêu cầu đó là điền số không vào mọi ô trống, và khi đó dữ liệu bị hỏng theo cách không phát hiện được về sau.

Dữ liệu thiếu ở kỳ trước có làm mất khả năng so sánh với kỳ này không?

Không mất hoàn toàn, nhưng cần đổi cách so. Nếu biết được mức thiếu của từng kỳ và biết dạng thiếu, có ba cách so vẫn dùng được. Cách thứ nhất là so trên tập con có dữ liệu ở cả hai kỳ, ví dụ chỉ so các kênh mà cả hai kỳ đều thu được đầy đủ; cách này mất một phần phạm vi nhưng kết luận đứng vững. Cách thứ hai là so các chỉ số dạng tỷ lệ thay vì dạng tổng, vì tỷ lệ ít bị ảnh hưởng bởi việc mất một phần bản ghi khi thiếu là ngẫu nhiên. Cách thứ ba là nêu khoảng thay vì một con số: tính kết quả theo cả hai giả định biên — coi phần thiếu như bằng không và coi phần thiếu như có cùng phân bố với phần đã biết — rồi báo hai đầu của khoảng đó. Nếu kết luận giống nhau ở cả hai giả định biên thì nó đứng vững bất kể phần thiếu thực sự là gì, và đây là cách kiểm đáng làm trước khi báo bất kỳ so sánh nào có dữ liệu thiếu đáng kể.

Chia sẻ bài viết:
admin
Tác Giả & Ban Biên Tập

admin

TopSeeding công khai phương pháp, nguồn dữ liệu và giới hạn của từng báo cáo để người đọc có thể kiểm tra và phản biện.

Để lại ý kiến hoặc câu hỏi của bạn

Email của bạn sẽ được bảo mật hoàn toàn. Các trường bắt buộc được đánh dấu *

BẮT ĐẦU NGAY HÔM NAY

Sẵn sàng tối ưu hiệu quả chiến dịch Seeding?

Hội thoại tự nhiên, đo lường minh bạch, 100% người thật và bảo vệ an toàn thương hiệu tối đa.

Tư vấn Seeding Marketing miễn phí — Chat ngay!