Đề thi, bài tập trắc nghiệm online Khai phá dữ liệu – Đề 12

Độ chính xác (Accuracy), độ thu hồi (Recall), và F1-score là các độ đo phổ biến để đánh giá hiệu suất của mô hình phân loại. Giá trị trung bình (Mean) không phải là một độ đo hiệu suất phân loại, mà thường được sử dụng trong thống kê mô tả hoặc đánh giá mô hình hồi quy.

Phân tích chuỗi thời gian (time series analysis) tập trung vào việc phân tích dữ liệu được thu thập theo thời gian, với mục tiêu chính là hiểu các mẫu và xu hướng theo thời gian, và sử dụng chúng để dự đoán các giá trị trong tương lai. Ứng dụng phổ biến là dự báo doanh số, dự báo thời tiết, và phân tích thị trường chứng khoán.

Bước đầu tiên trong quy trình khai phá dữ liệu là lựa chọn dữ liệu liên quan và phù hợp với mục tiêu khai phá. Các bước khác như tiền xử lý, khai phá mẫu và đánh giá mô hình diễn ra sau khi dữ liệu đã được chọn lọc.

Dữ liệu nhiễu (noisy data) là dữ liệu chứa các lỗi, giá trị ngoại lệ, hoặc sự không nhất quán, làm giảm chất lượng dữ liệu và có thể dẫn đến kết quả khai phá không chính xác. Việc xử lý dữ liệu nhiễu là một bước quan trọng trong tiền xử lý dữ liệu.

Ensemble learning (học tập kết hợp) là một kỹ thuật mạnh mẽ trong học máy và khai phá dữ liệu, kết hợp dự đoán từ nhiều mô hình học máy khác nhau (ví dụ: Random Forest, Gradient Boosting) để tạo ra một mô hình tổng hợp có độ chính xác và độ ổn định cao hơn so với từng mô hình riêng lẻ.

Cross-validation (kiểm định chéo) là kỹ thuật quan trọng để đánh giá khả năng tổng quát hóa của mô hình khai phá dữ liệu. Nó giúp ước tính hiệu suất của mô hình trên dữ liệu mới, chưa từng được sử dụng trong quá trình huấn luyện, bằng cách chia dữ liệu thành nhiều phần và lặp lại quá trình huấn luyện và kiểm thử.

Khai phá dữ liệu có thể áp dụng trên nhiều loại dữ liệu khác nhau như văn bản, hình ảnh, âm thanh, dữ liệu giao dịch, dữ liệu mạng xã hội... Dữ liệu không tồn tại (Non-existent data) không thể được khai thác vì nó không có thực.

Thuật toán Apriori là một thuật toán kinh điển trong khai thác luật kết hợp, được thiết kế đặc biệt để tìm các tập mục phổ biến trong cơ sở dữ liệu giao dịch, như phân tích giỏ hàng để xác định các sản phẩm thường được mua cùng nhau.

Data drift (trôi dữ liệu) là hiện tượng phân phối thống kê của dữ liệu đầu vào thay đổi theo thời gian. Điều này có thể làm cho các mô hình khai phá dữ liệu đã được huấn luyện trở nên kém hiệu quả vì chúng không còn phù hợp với dữ liệu mới. Việc giám sát và tái huấn luyện mô hình là cần thiết để đối phó với data drift.

Khai phá chuỗi thời gian (Sequential Pattern Mining) là một loại hình khai phá dữ liệu đặc biệt, tập trung vào việc tìm kiếm các mẫu tuần tự, tức là các chuỗi sự kiện hoặc hành vi xảy ra theo một trình tự thời gian nhất định. Nó khác với phân cụm, phân loại hoặc khai thác luật kết hợp, vốn không tập trung vào yếu tố thời gian.

Data cleaning (làm sạch dữ liệu) là một bước quan trọng trong tiền xử lý dữ liệu, bao gồm các công việc như xử lý giá trị thiếu, loại bỏ dữ liệu nhiễu, sửa lỗi dữ liệu, và chuẩn hóa dữ liệu để đảm bảo chất lượng dữ liệu tốt nhất cho quá trình khai phá.

Data warehouse (kho dữ liệu) là hệ thống được thiết kế để lưu trữ dữ liệu đã được tích hợp từ nhiều nguồn khác nhau, đã được làm sạch và chuyển đổi, nhằm hỗ trợ các hoạt động phân tích, báo cáo và ra quyết định, bao gồm cả khai phá dữ liệu.

Phân tích tình cảm (sentiment analysis) là một kỹ thuật trong khai phá dữ liệu văn bản, nhằm mục đích xác định và phân loại cảm xúc hoặc ý kiến được thể hiện trong văn bản, ví dụ như tích cực, tiêu cực, hoặc trung lập. Ứng dụng phổ biến là phân tích đánh giá sản phẩm, ý kiến khách hàng trên mạng xã hội.

Hadoop là một framework mã nguồn mở được thiết kế để lưu trữ và xử lý phân tán các tập dữ liệu lớn trên các cụm máy tính. Nó cho phép xử lý song song dữ liệu lớn, làm cho khai phá dữ liệu trên big data trở nên khả thi và hiệu quả hơn.

Kỹ thuật đặc trưng (feature engineering) là quá trình quan trọng trong khai phá dữ liệu, tập trung vào việc tạo ra các thuộc tính mới, phù hợp và có ý nghĩa từ dữ liệu ban đầu. Các thuộc tính này giúp mô hình học hiệu quả hơn và cải thiện độ chính xác dự đoán.

Mặc dù có liên quan, Khai phá dữ liệu nhấn mạnh vào việc khám phá tri thức và mẫu ẩn, trong khi Học máy tập trung vào việc phát triển các thuật toán cho phép máy tính học từ dữ liệu để dự đoán hoặc ra quyết định. Học máy có thể được sử dụng như một công cụ trong Khai phá dữ liệu, nhưng mục tiêu chính của chúng khác nhau.

Khai phá dữ liệu tập trung vào việc phân tích dữ liệu để khám phá tri thức và hỗ trợ quyết định trong nhiều lĩnh vực như tài chính, marketing, và thương mại điện tử. Tối ưu hóa thiết kế phần cứng máy tính không phải là một ứng dụng trực tiếp của khai phá dữ liệu mà thuộc về lĩnh vực kỹ thuật phần cứng.

Phát hiện dị thường (Anomaly Detection) là kỹ thuật được thiết kế để xác định các mẫu dữ liệu khác biệt đáng kể so với phần lớn dữ liệu còn lại, thường được sử dụng để phát hiện các sự kiện bất thường hoặc gian lận trong các lĩnh vực như ngân hàng và an ninh mạng.

Precision (độ chính xác) đo lường trong số các mẫu được mô hình dự đoán là tích cực, có bao nhiêu mẫu thực sự là tích cực. Công thức tính Precision là TP / (TP + FP), trong đó TP là True Positives (dự đoán đúng là tích cực) và FP là False Positives (dự đoán sai là tích cực).

Điền giá trị thiếu (Imputation) là kỹ thuật được sử dụng để xử lý các giá trị bị thiếu trong dữ liệu bằng cách thay thế chúng bằng các giá trị ước tính, ví dụ như giá trị trung bình, trung vị, hoặc giá trị dự đoán từ mô hình khác.

Phân cụm (Clustering) là kỹ thuật phù hợp để phân nhóm dữ liệu dựa trên sự tương đồng, trong trường hợp này là hành vi mua sắm của khách hàng. Phân loại dùng để gán nhãn, hồi quy để dự đoán giá trị số, và khai thác luật kết hợp để tìm mối quan hệ giữa các mục.

scikit-learn là một thư viện học máy mã nguồn mở rất phổ biến trong Python, cung cấp một loạt các thuật toán khai phá dữ liệu và học máy, bao gồm phân loại, hồi quy, phân cụm, giảm chiều dữ liệu, và nhiều công cụ khác. RapidMiner, Weka, và KNIME cũng là các công cụ khai phá dữ liệu phổ biến nhưng có thể không chỉ dựa trên Python hoặc có giao diện người dùng đồ họa mạnh mẽ hơn.

Giảm chiều dữ liệu (dimensionality reduction) là quá trình giảm số lượng thuộc tính (features) của dữ liệu để đơn giản hóa mô hình, giảm thời gian tính toán và tránh overfitting, đồng thời cố gắng giữ lại càng nhiều thông tin quan trọng càng tốt.

Khai phá dữ liệu tập trung vào việc tự động khám phá các mẫu, xu hướng, và tri thức ẩn từ dữ liệu lớn, không chỉ dừng lại ở việc thu thập, chuyển đổi hay lưu trữ dữ liệu.

Trong khai thác luật kết hợp, 'support' (độ hỗ trợ) của một tập mục hoặc một luật kết hợp đo lường tần suất xuất hiện của tập mục đó trong cơ sở dữ liệu. Support là một trong những độ đo quan trọng để đánh giá tính phổ biến của một luật kết hợp.

Overfitting xảy ra khi mô hình trở nên quá phức tạp và học thuộc lòng dữ liệu huấn luyện, bao gồm cả nhiễu. Kết quả là mô hình hoạt động rất tốt trên dữ liệu huấn luyện nhưng kém khi dự đoán trên dữ liệu mới hoặc dữ liệu thực tế chưa từng thấy.

Thuật toán k-Means là một thuật toán phân cụm phổ biến, được sử dụng để chia dữ liệu thành k cụm khác nhau dựa trên khoảng cách giữa các điểm dữ liệu, sao cho các điểm trong cùng một cụm có độ tương đồng cao hơn so với các điểm ở cụm khác.

Khai phá dữ liệu thường đối mặt với thách thức từ dữ liệu lớn, nhiễu, các vấn đề về bảo mật và khả năng mở rộng của thuật toán. Dữ liệu có kích thước nhỏ thường ít gây ra thách thức trong khai phá dữ liệu, ngược lại, dữ liệu lớn mới là một thách thức lớn.

Ưu điểm lớn nhất của khai phá dữ liệu trong kinh doanh là khả năng khám phá tri thức và thông tin giá trị từ dữ liệu, giúp doanh nghiệp hiểu rõ hơn về khách hàng, thị trường, và hoạt động kinh doanh, từ đó đưa ra các quyết định chiến lược và hoạt động hiệu quả hơn.

Một trong những thách thức đạo đức lớn nhất của khai phá dữ liệu là nguy cơ xâm phạm quyền riêng tư và sử dụng dữ liệu cá nhân một cách không minh bạch hoặc không được sự đồng ý của người dùng. Việc thu thập và phân tích dữ liệu cá nhân cần tuân thủ các quy định về bảo vệ dữ liệu và đảm bảo tính minh bạch và trách nhiệm.