Đề thi, bài tập trắc nghiệm online Xử lý ngôn ngữ tự nhiên – Đề 5

Transformer networks, kiến trúc cốt lõi của các mô hình ngôn ngữ lớn như BERT và GPT, dựa trên cơ chế attention (chú ý). Cơ chế này cho phép mô hình tập trung vào các phần quan trọng nhất của đầu vào khi xử lý thông tin, khắc phục hạn chế của RNN trong việc xử lý chuỗi dài.

Ambiguity (đa nghĩa) là một thách thức lớn trong NLP. Nó đề cập đến việc một từ, cụm từ hoặc câu có thể có nhiều hơn một cách hiểu hoặc ý nghĩa, tùy thuộc vào ngữ cảnh. Điều này gây khó khăn cho máy tính trong việc diễn giải ngôn ngữ một cách chính xác.

Backpropagation (lan truyền ngược) là một thuật toán quan trọng trong huấn luyện mạng nơ-ron. Nó được sử dụng để tính toán gradient (độ dốc) của hàm mất mát (loss function) đối với trọng số của mạng, sau đó sử dụng gradient này để cập nhật trọng số, giúp mạng học hỏi và cải thiện độ chính xác theo thời gian.

N-gram là một chuỗi gồm n từ liên tiếp được trích xuất từ một văn bản. Ví dụ, trong câu 'The cat sat on the mat', các bigram (2-gram) là 'The cat', 'cat sat', 'sat on', 'on the', 'the mat'.

Do đặc điểm ngôn ngữ tiếng Việt, việc tách từ (word segmentation) là một bước tiền xử lý quan trọng và cần thiết trước khi áp dụng nhiều kỹ thuật NLP khác. Tiếng Việt là ngôn ngữ đơn lập, các từ thường không được phân tách rõ ràng bằng dấu cách như trong tiếng Anh, nên cần các thuật toán tách từ để xác định ranh giới từ.

Part-of-Speech tagging (POS tagging) là quá trình gán nhãn ngữ pháp (part-of-speech tag) cho mỗi từ trong một câu. Các nhãn này xác định chức năng ngữ pháp của từ, ví dụ như danh từ, động từ, tính từ, giới từ, v.v.

Zero-shot learning là khả năng của một mô hình học máy, bao gồm cả mô hình NLP, để thực hiện một nhiệm vụ mới mà nó chưa từng được huấn luyện trực tiếp trên nhiệm vụ đó. Mô hình tận dụng kiến thức đã học được từ các nhiệm vụ liên quan để khái quát hóa và giải quyết nhiệm vụ mới.

Mặc dù tiếng Việt có những đặc điểm ngôn ngữ riêng, thách thức lớn nhất hiện tại là sự thiếu hụt dữ liệu huấn luyện và các tài nguyên ngôn ngữ (ví dụ: bộ từ điển, ngữ liệu gán nhãn) quy mô lớn so với các ngôn ngữ phổ biến như tiếng Anh, gây khó khăn cho việc phát triển các mô hình NLP hiệu quả cho tiếng Việt.

Dialogue management (quản lý hội thoại) là một thành phần cốt lõi của chatbot và hệ thống đối thoại. Nó chịu trách nhiệm theo dõi trạng thái của cuộc hội thoại, ghi nhớ lịch sử tương tác, và quyết định phản hồi phù hợp tiếp theo dựa trên ý định của người dùng và ngữ cảnh hội thoại hiện tại.

Speech recognition (nhận dạng giọng nói), còn được gọi là Automatic Speech Recognition (ASR), là một công nghệ NLP quan trọng. Mục tiêu chính của nó là chuyển đổi giọng nói của con người thành văn bản viết, cho phép máy tính hiểu và xử lý ngôn ngữ nói.

Xử lý ngôn ngữ tự nhiên (NLP) là lĩnh vực liên ngành giữa khoa học máy tính và ngôn ngữ học, tập trung vào việc cho phép máy tính hiểu, xử lý và tạo ra ngôn ngữ tự nhiên của con người.

Nhận diện khuôn mặt là một lĩnh vực của thị giác máy tính, không thuộc phạm vi chính của Xử lý ngôn ngữ tự nhiên (NLP). Các ứng dụng còn lại (chatbot, dịch máy, kiểm tra chính tả/ngữ pháp) đều là các ứng dụng quan trọng của NLP.

Named Entity Recognition (NER) là một nhiệm vụ con của trích xuất thông tin, nhằm mục đích xác định và phân loại các thực thể có tên trong văn bản thành các loại định trước như tên người, tổ chức, địa điểm, thời gian, v.v.

Perplexity là một độ đo phổ biến để đánh giá hiệu suất của mô hình ngôn ngữ. Nó đo lường mức độ 'bối rối' của mô hình khi dự đoán chuỗi văn bản. Perplexity thấp hơn thường chỉ ra mô hình ngôn ngữ tốt hơn.

Subword tokenization, như Byte-Pair Encoding (BPE), là một kỹ thuật hiệu quả để xử lý các từ OOV. Thay vì chia văn bản thành các từ đơn lẻ, nó chia thành các đơn vị nhỏ hơn (subwords) dựa trên tần suất xuất hiện, giúp mô hình xử lý các từ mới hoặc từ hiếm gặp.

Intent recognition (nhận diện ý định) là một thành phần quan trọng trong chatbot và hệ thống đối thoại. Nó là quá trình phân tích câu hỏi hoặc lệnh của người dùng để xác định ý định hoặc mục đích đằng sau yêu cầu đó, ví dụ như đặt hàng, hỏi thông tin, hay khiếu nại.

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) score là một tập hợp các độ đo được sử dụng để đánh giá chất lượng của văn bản tóm tắt hoặc văn bản sinh ra. Nó chủ yếu tập trung vào đo lường mức độ trùng lặp của n-gram (ví dụ: unigram, bigram) giữa văn bản sinh ra và một hoặc nhiều văn bản tham khảo.

Thiên kiến trong dữ liệu huấn luyện là một vấn đề nghiêm trọng trong NLP. Nếu dữ liệu huấn luyện chứa thiên kiến (ví dụ: phản ánh định kiến xã hội), mô hình NLP được huấn luyện trên dữ liệu đó có thể học và khuếch đại những thiên kiến này, dẫn đến các dự đoán không công bằng hoặc phân biệt đối xử với các nhóm người cụ thể.

Mô hình ngôn ngữ là một loại mô hình thống kê trong NLP, được huấn luyện trên một lượng lớn văn bản để học cách ngôn ngữ hoạt động. Nó có khả năng dự đoán xác suất xuất hiện của một chuỗi từ hoặc từ tiếp theo trong một câu, dựa trên ngữ cảnh trước đó.

Back-translation (dịch ngược) là một kỹ thuật tăng cường dữ liệu thường được sử dụng trong dịch máy. Nó bao gồm việc dịch một tập dữ liệu đơn ngữ từ ngôn ngữ nguồn sang ngôn ngữ đích, sau đó dịch ngược lại từ ngôn ngữ đích về ngôn ngữ nguồn. Dữ liệu được dịch ngược này, dù không hoàn hảo, có thể được sử dụng như dữ liệu huấn luyện bổ sung để cải thiện hiệu suất của mô hình dịch máy.

Cả stemming và lemmatization đều nhằm mục đích giảm từ về dạng gốc. Tuy nhiên, lemmatization đi xa hơn bằng cách đảm bảo gốc từ (lemma) là một từ có nghĩa trong ngôn ngữ, trong khi stemming có thể chỉ đơn giản cắt bỏ hậu tố mà không quan tâm đến tính hợp lệ của gốc từ.

Stemming là kỹ thuật giảm từ về dạng gốc của nó (stem) bằng cách loại bỏ các hậu tố và đôi khi cả tiền tố. Mục tiêu là đưa các từ có cùng gốc về một dạng chung để đơn giản hóa quá trình xử lý.

Tokenization là quá trình phân tách một chuỗi văn bản thành các đơn vị nhỏ hơn gọi là token. Các token này có thể là từ, cụm từ, ký tự hoặc các đơn vị ngữ nghĩa khác, tùy thuộc vào mục tiêu xử lý.

BLEU (Bilingual Evaluation Understudy) score là một độ đo phổ biến để đánh giá chất lượng của bản dịch máy. Nó đo lường sự tương đồng giữa bản dịch máy và một hoặc nhiều bản dịch tham khảo do con người tạo ra, dựa trên sự trùng lặp của n-gram.

Trong hệ thống QA, 'context window' là phạm vi văn bản xung quanh vị trí có khả năng chứa câu trả lời mà mô hình NLP xem xét để hiểu ngữ cảnh và tìm ra câu trả lời chính xác nhất. Kích thước của cửa sổ ngữ cảnh có thể ảnh hưởng đến hiệu suất của hệ thống.

Phân tích cảm xúc (sentiment analysis) là quá trình xác định và đánh giá cảm xúc, thái độ hoặc ý kiến được thể hiện trong văn bản. Mục tiêu là xác định xem văn bản thể hiện cảm xúc tích cực, tiêu cực hay trung lập đối với một chủ đề nào đó.

Word embeddings là các kỹ thuật biểu diễn từ ngữ dưới dạng vector số trong không gian nhiều chiều. Các vector này nắm bắt thông tin ngữ nghĩa và ngữ cảnh của từ, cho phép các mô hình NLP hiểu được mối quan hệ giữa các từ.

Topic modeling là một kỹ thuật thống kê trong NLP được sử dụng để khám phá và xác định các chủ đề ẩn chứa trong một tập hợp lớn các văn bản. Nó giúp tự động phân loại và nhóm các văn bản dựa trên chủ đề chung.

Stop words (từ dừng) là các từ xuất hiện thường xuyên nhưng ít mang ý nghĩa trong văn bản (ví dụ: 'the', 'a', 'is'). Loại bỏ stop words giúp giảm kích thước dữ liệu đầu vào, giảm nhiễu và có thể tăng tốc độ xử lý của các mô hình NLP.

TF-IDF (Term Frequency-Inverse Document Frequency) là một kỹ thuật thống kê được sử dụng để đánh giá tầm quan trọng của một từ trong một tài liệu trong ngữ cảnh của một tập hợp tài liệu. Nó thường được dùng trong trích xuất thông tin và tìm kiếm thông tin để xếp hạng mức độ liên quan của tài liệu.