Đề thi, bài tập trắc nghiệm online Học máy – Đề 14

Recall đo lường khả năng mô hình tìm ra tất cả các mẫu dương tính thực tế. Nó được tính bằng số lượng True Positives (TP) chia cho tổng số lượng mẫu thực tế là dương tính (TP + False Negatives - FN). Recall cao có nghĩa là mô hình ít bỏ sót các mẫu dương tính.

Entropy là một độ đo độ hỗn loạn hoặc tính không chắc chắn. Trong cây quyết định, entropy được sử dụng để tính toán Information Gain (độ lợi thông tin) cho mỗi thuộc tính. Thuộc tính có Information Gain cao nhất sẽ được chọn để phân chia nút, vì nó giúp giảm độ hỗn loạn của dữ liệu con nhiều nhất.

Kernel trick là một kỹ thuật quan trọng trong SVM. Hàm nhân cho phép SVM hoạt động hiệu quả trong không gian chiều cao mà không cần tính toán явно tọa độ của dữ liệu trong không gian đó. Các hàm nhân phổ biến như linear, polynomial, RBF cho phép SVM xử lý dữ liệu không phân tách tuyến tính bằng cách chiếu dữ liệu sang không gian phù hợp.

Dropout là một kỹ thuật regularization để giảm overfitting. Trong quá trình huấn luyện, dropout ngẫu nhiên tắt một số nơ-ron (và kết nối của chúng) với một xác suất nhất định. Điều này ngăn chặn các nơ-ron trở nên quá phụ thuộc vào nhau và khuyến khích mạng học các đặc trưng phân tán hơn, cải thiện khả năng tổng quát hóa.

Ma trận nhầm lẫn là một công cụ quan trọng để đánh giá mô hình phân loại. Nó cung cấp thông tin chi tiết về số lượng True Positives (TP), True Negatives (TN), False Positives (FP), và False Negatives (FN), giúp hiểu rõ hơn về loại lỗi mà mô hình mắc phải.

K-Nearest Neighbors (KNN) là một thuật toán học có giám sát được sử dụng cho cả bài toán phân loại và hồi quy. Trong KNN, để dự đoán nhãn cho một điểm dữ liệu mới, thuật toán tìm K điểm dữ liệu gần nhất (láng giềng gần nhất) trong tập huấn luyện và đưa ra dự đoán dựa trên nhãn của các láng giềng này.

Backpropagation là một thuật toán quan trọng để huấn luyện mạng nơ-ron. Nó cho phép tính toán hiệu quả gradient của hàm mất mát đối với từng tham số trong mạng. Gradient này sau đó được sử dụng bởi thuật toán tối ưu hóa (như Gradient Descent) để cập nhật các tham số.

Precision đo lường độ chính xác của các dự đoán dương tính. Nó được tính bằng số lượng True Positives (TP) chia cho tổng số lượng mẫu được dự đoán là dương tính (TP + False Positives - FP). Precision cao có nghĩa là khi mô hình dự đoán một mẫu là dương tính, nó thường đúng.

Cả ba phương pháp trên đều có thể giúp giảm overfitting. Tăng dữ liệu giúp mô hình học được các mẫu tổng quát hơn. Giảm độ phức tạp của mô hình ngăn mô hình học quá chi tiết dữ liệu huấn luyện. Regularization thêm một hình phạt vào hàm mất mát để khuyến khích mô hình đơn giản hơn.

Transfer learning tận dụng kiến thức (ví dụ: weights của mạng nơ-ron) đã được học từ một bài toán lớn (thường là với dữ liệu lớn) để giải quyết một bài toán mới, liên quan nhưng có dữ liệu huấn luyện hạn chế hơn. Nó đặc biệt hữu ích khi không có đủ dữ liệu để huấn luyện một mô hình từ đầu, giúp tiết kiệm thời gian và tài nguyên, đồng thời cải thiện hiệu suất mô hình.

Accuracy là một độ đo đơn giản và phổ biến, được tính bằng số lượng dự đoán đúng (cả dương tính thực và âm tính thực) chia cho tổng số lượng dự đoán. Nó cho biết mô hình phân loại đúng được bao nhiêu phần trăm các trường hợp.

Cross-validation là một kỹ thuật đánh giá mô hình bằng cách chia dữ liệu thành nhiều phần (folds). Mô hình được huấn luyện trên một số folds và kiểm tra trên fold còn lại. Quá trình này được lặp lại nhiều lần, mỗi lần sử dụng một fold khác nhau làm tập kiểm tra. Kết quả trung bình trên các folds kiểm tra cho thấy khả năng tổng quát hóa của mô hình.

Học máy tập trung vào việc phát triển các thuật toán cho phép máy tính học hỏi từ dữ liệu để đưa ra quyết định hoặc dự đoán mà không cần được lập trình cụ thể cho từng tình huống.

Mô hình có high variance thường quá phức tạp và nhạy cảm với các biến động nhỏ trong dữ liệu huấn luyện. Nó có xu hướng overfitting dữ liệu huấn luyện, đạt hiệu suất cao trên dữ liệu huấn luyện nhưng kém hiệu quả trên dữ liệu mới. Mô hình high variance thường có độ chính xác tốt trên dữ liệu huấn luyện nhưng phương sai lớn trên dữ liệu kiểm tra.

F1-score là trung bình điều hòa của Precision và Recall. Nó cung cấp một độ đo duy nhất cân bằng giữa Precision và Recall, đặc biệt hữu ích khi dữ liệu bị mất cân bằng. F1-score cao khi cả Precision và Recall đều cao.

Học có giám sát sử dụng dữ liệu huấn luyện đã được gán nhãn, nghĩa là mỗi điểm dữ liệu đầu vào đều có một nhãn hoặc giá trị mục tiêu tương ứng. Mục tiêu là học một hàm ánh xạ từ đầu vào sang đầu ra dựa trên dữ liệu đã gán nhãn này.

Batch normalization giúp huấn luyện mạng nơ-ron sâu hiệu quả hơn bằng cách chuẩn hóa đầu ra của mỗi lớp trong mỗi mini-batch. Điều này giúp giảm hiện tượng internal covariate shift (sự thay đổi hiệp biến nội bộ), cho phép sử dụng tốc độ học cao hơn và làm cho quá trình huấn luyện ổn định hơn, thường dẫn đến hội tụ nhanh hơn và hiệu suất tốt hơn.

Word embeddings là một kỹ thuật quan trọng trong NLP. Chúng biểu diễn mỗi từ bằng một vector số thực trong không gian nhiều chiều, sao cho các từ có ý nghĩa tương tự hoặc liên quan đến nhau sẽ có vị trí gần nhau trong không gian vector. Điều này giúp các mô hình học máy hiểu được ngữ nghĩa và mối quan hệ giữa các từ.

Ensemble learning sử dụng nhiều mô hình học máy (gọi là base learners) và kết hợp dự đoán của chúng để tạo ra một dự đoán mạnh mẽ hơn. Các phương pháp ensemble như Bagging (ví dụ: Random Forest), Boosting (ví dụ: AdaBoost, Gradient Boosting), và Stacking thường cho hiệu suất tốt hơn so với việc sử dụng một mô hình đơn lẻ.

Mô hình có high bias thường quá đơn giản và đưa ra các giả định mạnh về dữ liệu. Do đó, nó không thể học được các mẫu phức tạp trong dữ liệu huấn luyện và dẫn đến underfitting. Mô hình high bias thường có hiệu suất kém cả trên dữ liệu huấn luyện và dữ liệu kiểm tra.

RNN được thiết kế đặc biệt để xử lý dữ liệu tuần tự, nơi mà thứ tự của dữ liệu quan trọng (ví dụ: văn bản, chuỗi thời gian). Chúng có cơ chế 'ghi nhớ' trạng thái từ các bước thời gian trước đó. CNN, ngược lại, thường hiệu quả hơn cho dữ liệu không gian như ảnh, nhờ khả năng phát hiện các đặc trưng cục bộ.

Gradient Descent là một thuật toán tối ưu hóa phổ biến được sử dụng để huấn luyện mạng nơ-ron. Nó tìm cách cập nhật các tham số của mạng theo hướng ngược với gradient của hàm mất mát, nhằm tìm đến điểm cực tiểu của hàm mất mát và do đó tối ưu hóa mô hình.

Pooling layer (ví dụ: Max Pooling, Average Pooling) được sử dụng để giảm kích thước của feature maps sau lớp convolution. Điều này giúp giảm số lượng tham số và tính toán, đồng thời làm cho các đặc trưng trở nên bất biến hơn với các biến đổi nhỏ của đầu vào, tăng tính tổng quát hóa của mô hình.

PCA là một kỹ thuật giảm chiều dữ liệu tuyến tính. Nó tìm cách biến đổi dữ liệu sang một không gian mới mà ở đó các chiều (thành phần chính) được sắp xếp theo thứ tự phương sai giảm dần. Bằng cách giữ lại một số ít thành phần chính đầu tiên, ta có thể giảm số chiều dữ liệu trong khi vẫn giữ lại phần lớn thông tin quan trọng.

Hàm kích hoạt được áp dụng cho đầu ra của mỗi nơ-ron trong mạng nơ-ron. Vai trò chính của nó là giới thiệu tính phi tuyến. Nếu không có hàm kích hoạt phi tuyến, mạng nơ-ron nhiều lớp sẽ tương đương với một mạng nơ-ron một lớp, và khả năng học các mối quan hệ phức tạp sẽ bị hạn chế.

Học tăng cường tập trung vào việc huấn luyện một tác nhân để tương tác với một môi trường. Tác nhân học bằng cách thử và sai, nhận được phần thưởng hoặc hình phạt cho hành động của mình, và mục tiêu là học một chính sách để tối đa hóa phần thưởng theo thời gian.

AUC-ROC là một độ đo hiệu suất cho mô hình phân loại nhị phân. ROC curve (đường cong ROC) vẽ biểu đồ True Positive Rate (TPR) so với False Positive Rate (FPR) ở các ngưỡng phân loại khác nhau. AUC (diện tích dưới đường cong) thể hiện khả năng mô hình phân biệt giữa lớp dương tính và lớp âm tính, với AUC càng cao thì hiệu suất càng tốt.

Overfitting xảy ra khi mô hình trở nên quá phức tạp và 'học thuộc lòng' dữ liệu huấn luyện, bao gồm cả nhiễu. Kết quả là mô hình có độ chính xác cao trên dữ liệu huấn luyện nhưng khả năng tổng quát hóa kém, dẫn đến hiệu suất thấp trên dữ liệu mới hoặc dữ liệu kiểm tra.

K-Means Clustering là một thuật toán phân cụm, một kỹ thuật học không giám sát. Nó tìm cách phân nhóm dữ liệu thành các cụm dựa trên sự tương đồng giữa các điểm dữ liệu, mà không cần nhãn được cung cấp trước.

Convolution là một phép toán cơ bản trong CNN. Các lớp tích chập sử dụng các bộ lọc (filters) để quét qua ảnh đầu vào và phát hiện các đặc trưng cục bộ. Mỗi bộ lọc được thiết kế để phát hiện một loại đặc trưng cụ thể, và quá trình tích chập tạo ra các feature maps (bản đồ đặc trưng) thể hiện vị trí và cường độ của các đặc trưng này trong ảnh.