Đề thi, bài tập trắc nghiệm online Xử lý ngôn ngữ tự nhiên – Đề 3

Coreference resolution rất quan trọng trong các hệ thống trả lời câu hỏi tự động và trích xuất thông tin. Nó giúp hệ thống hiểu rõ hơn về các thực thể và mối quan hệ giữa chúng trong văn bản, cho phép trả lời câu hỏi chính xác hơn và trích xuất thông tin liên quan một cách hiệu quả.

Latent Dirichlet Allocation (LDA) là một thuật toán topic modeling phổ biến. LDA là một mô hình sinh xác suất cho phép khám phá các chủ đề ẩn trong một tập hợp tài liệu. SVM, KNN và Decision Tree là các thuật toán học máy khác, không phải là thuật toán topic modeling.

Coreference resolution là quá trình xác định tất cả các biểu thức ngôn ngữ (ví dụ: đại từ, danh từ chung, danh từ riêng) trong một văn bản tham chiếu đến cùng một thực thể thực tế. Ví dụ, trong câu 'Obama was born in Hawaii. He was the president.', 'Obama' và 'He' là coreferent, cùng tham chiếu đến một người.

Intent recognition là khả năng của chatbot hoặc hệ thống NLP để xác định mục đích hoặc ý định của người dùng từ đầu vào văn bản của họ. Điều này cho phép hệ thống hiểu người dùng muốn gì và cung cấp phản hồi hoặc hành động phù hợp.

Polarity trong phân tích cảm xúc đề cập đến hướng của cảm xúc được thể hiện trong văn bản. Thông thường, polarity được phân loại thành ba loại chính: tích cực, tiêu cực và trung lập. Đôi khi có thể có thêm các mức độ khác như rất tích cực, hơi tiêu cực, v.v.

BLEU (Bilingual Evaluation Understudy) là một chỉ số phổ biến để đánh giá chất lượng của đầu ra dịch máy. Nó so sánh bản dịch do máy tạo ra với một hoặc nhiều bản dịch tham khảo của con người và tính điểm dựa trên mức độ trùng lặp của n-gram.

Perplexity là một thước đo đánh giá hiệu suất của mô hình ngôn ngữ. Nó đo lường mức độ 'bối rối' của mô hình khi dự đoán một chuỗi văn bản. Perplexity thấp hơn thường chỉ ra mô hình dự đoán tốt hơn và ít 'bối rối' hơn.

Phân tích cảm xúc, chatbot và dịch máy là các ứng dụng quan trọng và phổ biến của NLP. Dự báo thời tiết chủ yếu dựa trên dữ liệu khí tượng và các mô hình vật lý, không phải là ứng dụng trực tiếp của NLP.

Accuracy, Precision, Recall và F1-score là các chỉ số phổ biến để đánh giá hiệu suất của các mô hình phân loại, bao gồm cả phân loại văn bản. Perplexity thường dùng cho mô hình ngôn ngữ, BLEU và ROUGE score dùng cho dịch máy và tóm tắt văn bản.

N-gram là một chuỗi gồm n từ liên tiếp trong một văn bản. Ví dụ, 'bigram' là chuỗi 2 từ, 'trigram' là chuỗi 3 từ, v.v. N-gram được sử dụng trong nhiều tác vụ NLP, như mô hình ngôn ngữ, trích xuất đặc trưng, và kiểm tra chính tả.

Part-of-speech tagging (POS tagging) là quá trình gán nhãn từ loại cho mỗi từ trong một câu. Các nhãn từ loại phổ biến bao gồm danh từ, động từ, tính từ, trạng từ, giới từ, v.v. POS tagging là một bước quan trọng trong nhiều tác vụ NLP khác.

Mạng nơ-ron hồi quy (RNN) được thiết kế đặc biệt để xử lý dữ liệu chuỗi tuần tự, trong đó thông tin từ các bước thời gian trước ảnh hưởng đến các bước thời gian sau. Văn bản là một dạng dữ liệu chuỗi tuần tự, do đó RNN rất phù hợp cho nhiều tác vụ NLP như mô hình ngôn ngữ, dịch máy, và phân tích cảm xúc.

Cơ chế attention cho phép mô hình Transformer tập trung vào các phần quan trọng của chuỗi đầu vào khi tạo ra đầu ra, ngay cả khi các phần quan trọng đó ở xa nhau trong chuỗi. Điều này giúp khắc phục hạn chế của RNN trong việc xử lý các sự phụ thuộc xa và ghi nhớ thông tin từ đầu chuỗi cho đến cuối chuỗi.

Stop words là các từ xuất hiện thường xuyên trong văn bản (ví dụ: 'the', 'a', 'is') nhưng thường ít mang lại thông tin ngữ nghĩa quan trọng cho một số tác vụ NLP như phân loại văn bản hoặc truy xuất thông tin. Loại bỏ stop words giúp giảm nhiễu và tập trung vào các từ khóa quan trọng hơn.

Named Entity Recognition (NER) là một nhiệm vụ NLP nhằm xác định và phân loại các thực thể có tên trong văn bản thành các danh mục định trước như tên người, tổ chức, địa điểm, thời gian, số lượng, v.v. NER giúp trích xuất thông tin có cấu trúc từ văn bản phi cấu trúc.

Loại bỏ tất cả các từ ít xuất hiện trong dữ liệu huấn luyện sẽ làm tăng nguy cơ gặp phải từ OOV, không phải giải pháp. Các giải pháp phổ biến khác bao gồm sử dụng subword tokenization để chia từ thành các đơn vị nhỏ hơn, mở rộng từ vựng huấn luyện bằng cách thêm dữ liệu, và sử dụng token đặc biệt để biểu diễn các từ OOV.

Topic modeling là một kỹ thuật thống kê để khám phá các chủ đề ẩn (latent topics) trong một tập hợp các tài liệu văn bản lớn. Nó giúp tự động xác định các chủ đề chính và phân phối chủ đề của từng tài liệu mà không cần nhãn chủ đề định trước.

Dịch máy (machine translation) là một lĩnh vực của NLP tập trung vào việc phát triển các hệ thống tự động chuyển đổi văn bản hoặc lời nói từ một ngôn ngữ (ngôn ngữ nguồn) sang một ngôn ngữ khác (ngôn ngữ đích).

Dependency parsing là một kỹ thuật phân tích cú pháp nhằm xác định cấu trúc phụ thuộc của câu, tức là mối quan hệ ngữ pháp giữa các từ. Nó biểu diễn câu như một đồ thị phụ thuộc, trong đó các từ được liên kết với nhau bởi các cạnh biểu thị mối quan hệ phụ thuộc (ví dụ: chủ-động, động-tân).

Word embedding truyền thống như Word2Vec tạo ra một vector duy nhất cho mỗi từ, bất kể ngữ cảnh sử dụng. Contextual word embedding, như BERT và ELMo, tạo ra các vector biểu diễn từ khác nhau tùy thuộc vào ngữ cảnh xung quanh từ đó trong câu. Điều này giúp nắm bắt ý nghĩa đa dạng của từ trong các ngữ cảnh khác nhau.

BERT (Bidirectional Encoder Representations from Transformers) được thiết kế để hiểu ngữ cảnh hai chiều của từ trong câu. Không giống như các mô hình trước đó chỉ xem xét ngữ cảnh từ trái sang phải hoặc phải sang trái, BERT xem xét cả hai hướng đồng thời, giúp nắm bắt ngữ cảnh phong phú và tinh tế hơn.

Stemming là kỹ thuật giảm từ về dạng gốc của nó bằng cách cắt bỏ các phần cuối hoặc đầu từ, thường là hậu tố và đôi khi là tiền tố. Mục tiêu là đưa các từ có chung gốc về một dạng chung, mặc dù dạng gốc này không nhất thiết phải là một từ có nghĩa trong từ điển.

Vấn đề out-of-vocabulary (OOV) xảy ra khi một mô hình NLP gặp phải các từ trong dữ liệu kiểm tra hoặc dữ liệu thực tế mà nó chưa từng thấy trong quá trình huấn luyện. Các từ OOV không có trong từ vựng mà mô hình đã học, gây khó khăn cho mô hình trong việc xử lý và hiểu chúng.

TF-IDF (Term Frequency-Inverse Document Frequency) là một phương pháp thống kê để đánh giá tầm quan trọng của một từ trong một tài liệu so với một tập hợp các tài liệu. Trong khi Word2Vec, GloVe và FastText là các kỹ thuật word embedding, TF-IDF không tạo ra biểu diễn vector cho từ dựa trên ngữ cảnh của nó.

Mô hình Bag of Words (BoW) biểu diễn văn bản như một tập hợp không thứ tự các từ, trong đó mỗi từ được biểu diễn bằng tần suất xuất hiện của nó trong văn bản. BoW bỏ qua thứ tự và cấu trúc ngữ pháp của từ, chỉ tập trung vào sự hiện diện và tần suất của chúng.

Tokenization là quá trình chia một chuỗi văn bản thành các đơn vị nhỏ hơn gọi là tokens. Tokens có thể là từ, cụm từ, ký tự hoặc các đơn vị ngữ nghĩa khác, tùy thuộc vào mục tiêu phân tích.

Lemmatization, khác với stemming, cố gắng đưa từ về dạng gốc từ điển (lemma) của nó, đảm bảo rằng kết quả là một từ có nghĩa. Stemming đơn giản hơn và nhanh hơn, nhưng có thể tạo ra các dạng gốc không phải là từ có nghĩa.

Zero-shot learning trong NLP là khả năng của mô hình để thực hiện các tác vụ hoặc phân loại các đối tượng hoặc chủ đề mà nó chưa từng được huấn luyện trực tiếp trên đó. Mô hình có thể sử dụng kiến thức đã học từ các tác vụ hoặc lớp khác để suy luận và khái quát hóa sang các lớp mới, chưa từng thấy.

Một trong những ưu điểm lớn nhất của Transformer là khả năng song song hóa các phép tính. Không giống như RNN phải xử lý chuỗi tuần tự từng bước, Transformer có thể xử lý toàn bộ chuỗi đầu vào cùng một lúc, cho phép huấn luyện nhanh hơn, đặc biệt trên các GPU.

Transfer learning trong NLP, giống như trong các lĩnh vực học máy khác, cho phép tận dụng kiến thức đã được học từ một mô hình trên một tác vụ lớn (thường với dữ liệu khổng lồ) để cải thiện hiệu suất của mô hình trên một tác vụ khác, đặc biệt khi dữ liệu cho tác vụ thứ hai hạn chế. Điều này đặc biệt hữu ích trong NLP vì việc thu thập và gán nhãn dữ liệu văn bản quy mô lớn tốn kém.