Đề thi, bài tập trắc nghiệm online Học máy – Đề 12

RNN có các kết nối vòng lặp, tạo ra bộ nhớ trạng thái, cho phép nó xử lý dữ liệu tuần tự (sequences) như văn bản, chuỗi thời gian, và ghi nhớ thông tin từ các bước thời gian trước đó, điều mà FFNN không có.

Cơ chế chú ý (Attention mechanism) là một thành phần quan trọng trong LLMs, đặc biệt là trong kiến trúc Transformer. Nó cho phép mô hình tập trung có chọn lọc vào các phần quan trọng của chuỗi đầu vào khi tạo ra đầu ra, đặc biệt hữu ích khi xử lý các chuỗi dài và phụ thuộc xa.

Học máy tập trung vào việc phát triển các thuật toán cho phép máy tính học hỏi từ dữ liệu, cải thiện hiệu suất theo thời gian mà không cần được lập trình cụ thể cho từng nhiệm vụ.

Regularization là một kỹ thuật quan trọng để giảm overfitting bằng cách thêm một thành phần phạt (penalty term) vào hàm mất mát. Thành phần phạt này thường dựa trên độ lớn của các tham số mô hình, khuyến khích mô hình có tham số nhỏ hơn và đơn giản hơn, từ đó khái quát hóa tốt hơn.

Chuẩn hóa dữ liệu giúp đảm bảo rằng không có thuộc tính nào ảnh hưởng quá mức đến mô hình do có phạm vi giá trị lớn hơn. Nó cải thiện hiệu suất của nhiều thuật toán học máy, đặc biệt là các thuật toán dựa trên khoảng cách.

K-Nearest Neighbors (KNN) là một thuật toán instance-based learning. Nó không xây dựng một mô hình tường minh mà thay vào đó, dự đoán nhãn cho một điểm dữ liệu mới dựa trên nhãn của các điểm dữ liệu gần nhất trong tập huấn luyện.

Fine-tuning là quá trình tiếp tục huấn luyện một mô hình đã được huấn luyện trước trên một tập dữ liệu mới. Mục đích là tận dụng kiến thức đã học được từ tập dữ liệu lớn ban đầu và điều chỉnh mô hình cho phù hợp với một nhiệm vụ hoặc miền dữ liệu cụ thể hơn, thường với ít dữ liệu hơn so với huấn luyện từ đầu.

Hàm phần thưởng là trung tâm của học tăng cường. Nó định nghĩa mục tiêu của tác nhân bằng cách cung cấp tín hiệu phản hồi (phần thưởng hoặc phạt) cho mỗi hành động tác nhân thực hiện trong môi trường. Tác nhân học cách tối đa hóa tổng phần thưởng tích lũy.

K-Means Clustering là một thuật toán phân cụm, phân nhóm dữ liệu dựa trên sự tương đồng về đặc điểm. Đây là một ví dụ điển hình của học không giám sát vì nó không sử dụng dữ liệu có nhãn.

Learning rate kiểm soát kích thước bước nhảy mà thuật toán Gradient Descent thực hiện trong mỗi lần lặp để tìm điểm cực tiểu của hàm mất mát. Learning rate quá lớn có thể khiến thuật toán bỏ qua điểm cực tiểu, quá nhỏ có thể khiến hội tụ chậm.

Federated learning (học liên hợp) là một phương pháp học máy phân tán cho phép huấn luyện mô hình trên một lượng lớn dữ liệu phân tán trên nhiều thiết bị (ví dụ: điện thoại di động, bệnh viện) mà không cần phải tập trung dữ liệu đó về một máy chủ trung tâm. Điều này đặc biệt quan trọng để bảo vệ quyền riêng tư và an ninh dữ liệu.

One-hot encoding là một kỹ thuật chuyển đổi dữ liệu phân loại thành dạng số mà các thuật toán học máy có thể xử lý. Nó tạo ra một vector nhị phân cho mỗi danh mục, với giá trị 1 ở vị trí tương ứng với danh mục đó và 0 ở các vị trí khác.

Ensemble methods dựa trên ý tưởng rằng việc kết hợp dự đoán từ nhiều mô hình yếu (thường là đơn giản và có độ chính xác không cao) có thể tạo ra một mô hình mạnh mẽ và chính xác hơn so với bất kỳ mô hình yếu riêng lẻ nào. Ví dụ phổ biến bao gồm Random Forest và Gradient Boosting.

PCA (Principal Component Analysis) là một phương pháp giảm chiều dữ liệu tuyến tính phổ biến. Nó tìm ra các thành phần chính (principal components) là các hướng trong không gian dữ liệu mà dữ liệu có phương sai lớn nhất, và chiếu dữ liệu lên các thành phần này để giảm chiều.

Precision (Độ chính xác) đo lường trong số tất cả các trường hợp mô hình dự đoán là dương tính, có bao nhiêu trường hợp thực sự là dương tính. Công thức: Precision = True Positives / (True Positives + False Positives).

Random Forest là một thuật toán ensemble dựa trên phương pháp Bagging (Bootstrap Aggregating). Bagging tạo ra nhiều mô hình (cây quyết định trong trường hợp Random Forest) bằng cách huấn luyện trên các tập con dữ liệu được lấy mẫu có hoàn lại từ tập dữ liệu gốc, sau đó kết hợp dự đoán của chúng bằng cách lấy trung bình hoặc bỏ phiếu.

Kiến trúc Transformer, cốt lõi của nhiều mô hình ngôn ngữ lớn như BERT, GPT, dựa trên cơ chế chú ý (attention mechanism). Transformer loại bỏ sự cần thiết của các lớp tuần tự như RNN và LSTM, thay vào đó sử dụng self-attention để cho phép mô hình học các phụ thuộc xa trong chuỗi dữ liệu một cách hiệu quả và song song hóa.

Giảm độ sâu tối đa của cây quyết định (pruning) là một kỹ thuật phổ biến để kiểm soát độ phức tạp của mô hình, ngăn chặn cây phát triển quá sâu và khớp quá chặt vào dữ liệu huấn luyện, từ đó giảm overfitting.

Word embeddings (nhúng từ) như Word2Vec và GloVe biểu diễn từ ngữ dưới dạng các vector số thực đa chiều. Điểm quan trọng là các từ có ngữ nghĩa tương tự sẽ được biểu diễn bằng các vector gần nhau trong không gian vector, cho phép mô hình NLP hiểu được mối quan hệ ngữ nghĩa giữa các từ.

Điểm khác biệt chính giữa L1 và L2 regularization là L1 regularization (Lasso) có xu hướng làm cho một số tham số mô hình trở nên hoàn toàn bằng 0. Điều này có nghĩa là L1 regularization thực hiện lựa chọn đặc trưng, loại bỏ các đặc trưng ít quan trọng. L2 regularization (Ridge), ngược lại, chỉ làm giảm giá trị của tất cả các tham số, nhưng không đưa chúng về 0.

Cross-validation là một kỹ thuật đánh giá mô hình quan trọng, giúp ước tính hiệu suất của mô hình trên dữ liệu chưa từng thấy. Nó chia dữ liệu thành nhiều phần (folds), huấn luyện mô hình trên một số phần và đánh giá trên phần còn lại, lặp lại quá trình này để có đánh giá tổng quan và đáng tin cậy hơn.

Model drift (trôi mô hình) là hiện tượng thường gặp trong MLOps, khi hiệu suất của mô hình suy giảm theo thời gian sau khi triển khai. Điều này xảy ra do sự thay đổi trong phân phối dữ liệu đầu vào so với dữ liệu mà mô hình được huấn luyện ban đầu. Cần giám sát và tái huấn luyện mô hình để đối phó với model drift.

Giảm chiều dữ liệu nhằm mục đích giảm số lượng biến đầu vào trong mô hình. Điều này có thể giúp giảm chi phí tính toán, loại bỏ nhiễu, trực quan hóa dữ liệu dễ dàng hơn và đôi khi cải thiện hiệu suất mô hình bằng cách loại bỏ các đặc trưng không liên quan hoặc dư thừa.

Một trong những lo ngại đạo đức lớn nhất khi sử dụng học máy trong tuyển dụng là nguy cơ thuật toán học và duy trì các thành kiến từ dữ liệu huấn luyện (ví dụ: thành kiến giới tính, chủng tộc). Điều này có thể dẫn đến các quyết định tuyển dụng phân biệt đối xử, ngay cả khi không có ý định phân biệt đối xử từ người thiết kế thuật toán.

Overfitting xảy ra khi mô hình học quá kỹ dữ liệu huấn luyện, nắm bắt cả nhiễu và chi tiết không quan trọng, dẫn đến khả năng khái quát hóa kém trên dữ liệu mới (dữ liệu kiểm tra).

Giảm chiều dữ liệu (dimensionality reduction) và phân cụm (clustering) là hai kỹ thuật riêng biệt trong học không giám sát, nhưng chúng có thể bổ sung cho nhau. Giảm chiều dữ liệu có thể được sử dụng trước phân cụm để loại bỏ nhiễu, giảm độ phức tạp tính toán và cải thiện chất lượng phân cụm bằng cách làm nổi bật cấu trúc dữ liệu thực sự.

CNN được thiết kế đặc biệt để xử lý dữ liệu dạng lưới như ảnh, video, nhờ vào các lớp tích chập có khả năng tự động trích xuất đặc trưng không gian từ dữ liệu hình ảnh.

ROC curve (Receiver Operating Characteristic curve) và AUC (Area Under the Curve) là các công cụ quan trọng để đánh giá mô hình phân loại nhị phân, đặc biệt khi dữ liệu không cân bằng. ROC curve vẽ TPR (True Positive Rate) theo FPR (False Positive Rate) ở các ngưỡng phân loại khác nhau. AUC đo diện tích dưới đường cong ROC, giá trị AUC càng cao (gần 1) thì mô hình càng tốt trong việc phân biệt giữa hai lớp.

Phân loại email spam là một bài toán phân loại, trong đó dữ liệu đã được gán nhãn (spam hoặc không spam). Học có giám sát là phương pháp phù hợp để giải quyết các bài toán phân loại và hồi quy với dữ liệu có nhãn.

Bias-Variance tradeoff là khái niệm quan trọng trong học máy. Bias cao (underfitting) xảy ra khi mô hình quá đơn giản và không khớp tốt với dữ liệu huấn luyện. Variance cao (overfitting) xảy ra khi mô hình quá phức tạp và khớp quá chặt vào dữ liệu huấn luyện, dẫn đến khái quát hóa kém. Cần tìm sự cân bằng để đạt được hiệu suất tốt nhất.