Đề thi, bài tập trắc nghiệm online Xử lý ngôn ngữ tự nhiên – Đề 10

Overfitting (quá khớp) xảy ra khi mô hình học quá chi tiết dữ liệu huấn luyện, bao gồm cả nhiễu, dẫn đến khả năng khái quát hóa kém trên dữ liệu mới (dữ liệu kiểm tra). Mô hình 'nhớ' dữ liệu huấn luyện thay vì 'học' các đặc trưng tổng quát. Các lựa chọn khác mô tả các tình huống khác (underfitting, good fit, non-convergence).

Mô hình RNN truyền thống (ví dụ: LSTM, GRU) thường gặp vấn đề với giới hạn cửa sổ ngữ cảnh, do chúng xử lý dữ liệu tuần tự và thông tin ngữ cảnh có thể bị 'quên' khi chuỗi đầu vào quá dài. Mô hình Transformer (với attention) và n-gram/Bag-of-Words (không xử lý tuần tự) ít bị ảnh hưởng bởi vấn đề này hơn. Mặc dù Transformer cũng có giới hạn cửa sổ ngữ cảnh, nhưng nó lớn hơn nhiều so với RNN truyền thống.

Cơ chế chú ý cho phép mô hình tập trung vào các phần quan trọng của dữ liệu đầu vào khi đưa ra dự đoán, đặc biệt hiệu quả trong việc xử lý các phụ thuộc tầm xa trong câu, nơi thông tin quan trọng có thể nằm cách xa nhau. Các lựa chọn khác không phải là vấn đề chính mà cơ chế chú ý giải quyết (OOV, tốc độ, thiếu dữ liệu là các vấn đề khác trong NLP).

Nhận dạng khuôn mặt là một lĩnh vực của thị giác máy tính, không thuộc Xử lý ngôn ngữ tự nhiên. Các lựa chọn còn lại (phân tích cảm xúc, dịch máy, tóm tắt văn bản) đều là các ứng dụng quan trọng của NLP.

Biểu diễn túi từ (Bag-of-Words) thường dẫn đến vấn đề sparsity, vì vector biểu diễn cho mỗi văn bản có kích thước bằng kích thước từ vựng, và hầu hết các phần tử trong vector sẽ là 0 (tương ứng với các từ không xuất hiện trong văn bản đó). Word embeddings (dày đặc), mô hình nơ-ron, và cây cú pháp phụ thuộc không gặp phải vấn đề sparsity tương tự.

BLEU score là một metric phổ biến và được thiết kế đặc biệt để đánh giá chất lượng của các mô hình dịch máy bằng cách so sánh bản dịch của mô hình với một hoặc nhiều bản dịch tham khảo của con người. Các metrics khác (Accuracy, F1-score, Recall) thường được sử dụng trong các bài toán phân loại, không đặc thù cho dịch máy.

Stemming là quá trình rút gọn từ về dạng gốc của nó bằng cách loại bỏ các hậu tố và tiền tố, thường là một cách heuristic và có thể tạo ra các gốc từ không có nghĩa. Lựa chọn 1 mô tả lemmatization (tìm dạng nguyên gốc), lựa chọn 3 mô tả parsing, lựa chọn 4 mô tả text classification.

Bag-of-Words (Túi từ) là một phương pháp biểu diễn văn bản đơn giản, chỉ quan tâm đến tần suất xuất hiện của mỗi từ trong văn bản mà không xem xét đến thứ tự hay ngữ cảnh của chúng. Các lựa chọn khác mô tả các phương pháp biểu diễn văn bản phức tạp hơn (thứ tự từ, ngữ cảnh, quan hệ ngữ pháp được xem xét trong các mô hình sequence-based hoặc dependency parsing).

Dropout là một kỹ thuật regularization (chính quy hóa) được sử dụng để giảm overfitting trong mạng nơ-ron. Nó hoạt động bằng cách ngẫu nhiên 'bỏ qua' (tức là đặt đầu ra về 0) một số nơ-ron trong quá trình huấn luyện, buộc mạng phải học các đặc trưng mạnh mẽ hơn và ít phụ thuộc vào các nơ-ron cụ thể. Các lựa chọn khác không phải mục đích chính của dropout (tốc độ, kích thước, diễn giải không phải mục tiêu trực tiếp).

Information Retrieval (IR - Truy xuất thông tin) tập trung vào việc tìm kiếm và truy xuất các tài liệu (ví dụ: trang web, bài báo) phù hợp nhất với một truy vấn tìm kiếm của người dùng. Các công cụ tìm kiếm như Google là một ứng dụng điển hình của IR. Các lựa chọn khác mô tả các lĩnh vực NLP khác (dịch máy, phân tích cảm xúc, tóm tắt văn bản).

Intent recognition là bước quan trọng trong xây dựng chatbot, nó cho phép chatbot hiểu được người dùng muốn gì khi nhập văn bản, từ đó đưa ra phản hồi phù hợp. Các lựa chọn khác mô tả các chức năng khác của chatbot (tạo phản hồi, quản lý lịch sử, text-to-speech).

Điểm khác biệt chính là lemmatization tạo ra các lemma (dạng nguyên gốc có nghĩa) bằng cách sử dụng từ điển và phân tích hình thái học, trong khi stemming đơn giản chỉ loại bỏ hậu tố/tiền tố và có thể tạo ra gốc từ vô nghĩa. Các lựa chọn khác không đúng về bản chất của stemming và lemmatization (tốc độ, sử dụng từ điển, ngôn ngữ áp dụng).

Cosine similarity đo góc giữa hai vector trong không gian vector, và thường được sử dụng để đánh giá mức độ tương tự giữa hai word embeddings. Góc nhỏ (cosine similarity gần 1) biểu thị sự tương đồng về ngữ nghĩa. Lựa chọn 1 (khoảng cách) cũng liên quan nhưng cosine similarity tập trung vào hướng vector hơn là độ lớn. Các lựa chọn khác (giảm chiều, huấn luyện embedding) không phải mục đích chính của cosine similarity trong ngữ cảnh này.

Coreference resolution (giải quyết đồng tham chiếu) là bài toán xác định các biểu thức ngôn ngữ (ví dụ: đại từ, cụm danh từ) trong văn bản mà cùng tham chiếu đến một thực thể thực tế. Ví dụ, trong câu 'Obama visited Germany. He met Merkel.', coreference resolution sẽ xác định 'He' tham chiếu đến 'Obama'. Các lựa chọn khác mô tả các nhiệm vụ NLP khác (dịch máy, parsing, tóm tắt văn bản).

Mô hình n-gram dựa trên giả định Markov, cho rằng xác suất xuất hiện của một từ chỉ phụ thuộc vào một số hữu hạn các từ đứng trước nó (n-1 từ trong trường hợp n-gram). Các lựa chọn khác không đúng (n-gram không giả định độc lập từ, không tập trung vào ngữ nghĩa hay cấu trúc ngữ pháp phức tạp).

Self-attention trong Transformer cho phép mô hình tính toán mức độ quan trọng của mỗi từ trong chuỗi đầu vào so với tất cả các từ khác trong **cùng** chuỗi đó, giúp mô hình hiểu được mối quan hệ giữa các từ trong câu. Lựa chọn 3 mô tả attention thông thường (cross-attention), lựa chọn 1 và 4 không phải chức năng chính của self-attention.

Hệ thống đề xuất sản phẩm chủ yếu dựa trên phân tích hành vi người dùng, lịch sử mua hàng, và thông tin sản phẩm, không trực tiếp sử dụng NLP làm cốt lõi. Các lựa chọn khác (lọc thư rác, trợ lý ảo, kiểm tra chính tả) đều là các ứng dụng trực tiếp và quan trọng của NLP.

Tokenization là quá trình phân tách văn bản đầu vào thành các tokens, thường là các từ, cụm từ hoặc ký tự, để xử lý tiếp theo. Các lựa chọn khác mô tả các bước xử lý NLP khác nhau (text-to-speech, POS tagging, stop word removal).

Aspect-based sentiment analysis (phân tích cảm xúc dựa trên khía cạnh) phân tích cảm xúc chi tiết hơn bằng cách xác định cảm xúc không chỉ cho toàn bộ văn bản mà còn cho từng khía cạnh hoặc thuộc tính cụ thể được đề cập trong văn bản. Ví dụ, trong một đánh giá sản phẩm, nó có thể xác định cảm xúc tích cực về 'pin' nhưng tiêu cực về 'màn hình'. Lựa chọn 1 mô tả sentiment analysis thông thường, lựa chọn 3 và 4 không phải đặc điểm của aspect-based sentiment analysis.

Sampling (lấy mẫu) là một bước quan trọng trong quá trình tạo sinh văn bản, nó quyết định cách chọn từ tiếp theo từ phân phối xác suất mà mô hình ngôn ngữ dự đoán. Các phương pháp sampling khác nhau (ví dụ: greedy sampling, temperature sampling, top-k sampling) ảnh hưởng đến tính đa dạng và chất lượng của văn bản được tạo ra. Các lựa chọn khác không phải vai trò của sampling (đánh giá, tiền xử lý, tăng tốc).

NER (Nhận dạng thực thể có tên) tập trung vào việc xác định các thực thể như tên người, tổ chức, địa điểm, ngày tháng, v.v. trong văn bản và phân loại chúng vào các danh mục tương ứng. Các lựa chọn khác là các nhiệm vụ NLP khác (sentiment analysis, machine translation, text summarization).

Perplexity là một metric thường được sử dụng để đánh giá mô hình ngôn ngữ, đo lường mức độ 'bối rối' của mô hình khi dự đoán một chuỗi văn bản. Perplexity thấp hơn cho thấy mô hình dự đoán tốt hơn (ít bối rối hơn). Các lựa chọn khác không phải ý nghĩa của perplexity (tốc độ, độ phức tạp, kích thước là các khía cạnh khác của mô hình).

Dependency parsing (phân tích cú pháp phụ thuộc) nhằm mục đích xác định cấu trúc ngữ pháp của câu bằng cách tìm ra mối quan hệ phụ thuộc giữa các từ (ví dụ: chủ ngữ, vị ngữ, tân ngữ) và biểu diễn chúng dưới dạng cây phụ thuộc. Các lựa chọn khác mô tả các nhiệm vụ NLP khác (chunking, POS tagging, sentiment analysis).

PCA (Principal Component Analysis) là một kỹ thuật giảm chiều dữ liệu phổ biến, có thể được áp dụng để giảm số chiều của word embeddings, làm cho mô hình hiệu quả hơn về mặt tính toán và bộ nhớ. Các lựa chọn khác không trực tiếp liên quan đến giảm chiều dữ liệu trong word embeddings (one-hot, BoW, TF-IDF là các phương pháp biểu diễn văn bản).

Phân loại cảm xúc với dữ liệu gán nhãn là một bài toán học máy có giám sát (supervised learning), vì nó sử dụng dữ liệu đã được gán nhãn cảm xúc để huấn luyện mô hình. Các lựa chọn còn lại (phân cụm văn bản, mô hình hóa chủ đề, giảm chiều dữ liệu) là các phương pháp học máy không giám sát, không yêu cầu dữ liệu gán nhãn.

Transfer learning (học chuyển giao) cho phép mô hình tận dụng kiến thức đã học được từ một nhiệm vụ (thường là nhiệm vụ có nhiều dữ liệu) để cải thiện hiệu suất trên một nhiệm vụ khác, đặc biệt hữu ích khi nhiệm vụ mới có ít dữ liệu huấn luyện. Các lựa chọn khác không phải lợi ích chính của transfer learning (giảm kích thước, tăng tốc độ, diễn giải có thể là lợi ích phụ nhưng không phải mục tiêu chính).

Stop words (ví dụ: 'the', 'a', 'is') là các từ xuất hiện rất thường xuyên trong văn bản nhưng thường ít mang lại thông tin ngữ nghĩa quan trọng cho nhiều tác vụ NLP. Việc loại bỏ stop words giúp giảm kích thước dữ liệu và có thể cải thiện hiệu suất của mô hình. Các lựa chọn khác không đúng (stop words không chứa thông tin quan trọng, không gây khó tokenization, và tồn tại trong nhiều ngôn ngữ).

Word Sense Disambiguation (WSD) là bài toán xác định nghĩa đúng của một từ đa nghĩa trong một ngữ cảnh cụ thể. Ví dụ, từ 'bank' có thể có nghĩa là 'ngân hàng' hoặc 'bờ sông', WSD sẽ xác định nghĩa nào phù hợp dựa trên ngữ cảnh xung quanh. Các lựa chọn khác mô tả các tác vụ NLP khác (dịch, tìm từ đồng nghĩa/trái nghĩa, parsing).

TF-IDF (Term Frequency-Inverse Document Frequency) là một kỹ thuật đánh trọng số từ phổ biến, tăng trọng số cho các từ xuất hiện nhiều trong một tài liệu cụ thể (TF) nhưng ít xuất hiện trong toàn bộ tập tài liệu (IDF), giúp xác định các từ quan trọng và đặc trưng cho từng tài liệu. Các lựa chọn khác không mô tả đúng mục đích của TF-IDF (giảm chiều, phân cụm, lemmatization là các kỹ thuật khác).

Backpropagation là thuật toán cốt lõi để huấn luyện mạng nơ-ron, nó tính toán gradient của hàm mất mát (đo lường sai số) và sử dụng gradient này để cập nhật trọng số của mạng theo hướng giảm thiểu sai số. Lựa chọn 1 mô tả forward pass, lựa chọn 3 và 4 không phải vai trò của backpropagation.