Đề thi, bài tập trắc nghiệm online Xử lý ngôn ngữ tự nhiên – Đề 11

Knowledge graph (đồ thị tri thức) là một cơ sở tri thức được biểu diễn dưới dạng đồ thị, trong đó các nút biểu diễn các thực thể (ví dụ: người, địa điểm, khái niệm) và các cạnh biểu diễn mối quan hệ giữa các thực thể đó. Knowledge graph được sử dụng trong nhiều ứng dụng NLP như trả lời câu hỏi, tìm kiếm ngữ nghĩa, và hệ thống khuyến nghị.

Token hóa là quá trình chia một chuỗi văn bản thành các 'token' – các đơn vị nhỏ hơn như từ, cụm từ hoặc ký tự. Mục đích là để máy tính có thể xử lý văn bản ở cấp độ chi tiết hơn.

Phân tích chứng khoán tự động chủ yếu dựa trên dữ liệu số và các thuật toán tài chính, ít sử dụng trực tiếp các kỹ thuật NLP để phân tích ngôn ngữ tự nhiên. Dịch máy, chatbot và phân loại email spam đều là các ứng dụng phổ biến và trực tiếp của NLP.

Transfer learning (học chuyển giao) là một kỹ thuật mạnh mẽ trong machine learning và NLP. Nó cho phép tận dụng kiến thức đã học được từ việc huấn luyện mô hình trên một tác vụ hoặc tập dữ liệu lớn (ví dụ: huấn luyện mô hình ngôn ngữ trên hàng tỷ từ) để cải thiện hiệu suất trên một tác vụ khác hoặc trên một tập dữ liệu nhỏ hơn, giúp tiết kiệm thời gian và tài nguyên huấn luyện.

Backpropagation (lan truyền ngược) là một thuật toán quan trọng được sử dụng để huấn luyện mạng nơ-ron, bao gồm cả các mô hình NLP dựa trên mạng nơ-ron. Nó cho phép tính toán gradient của hàm mất mát (loss function) theo trọng số của mạng và sử dụng gradient này để cập nhật trọng số theo hướng giảm lỗi dự đoán, giúp mô hình học hỏi từ dữ liệu.

Corpus (ngữ liệu) trong NLP là một tập hợp lớn và có cấu trúc các văn bản (ví dụ: sách, báo, bài viết trên web). Corpus đóng vai trò quan trọng trong NLP, được sử dụng để huấn luyện các mô hình ngôn ngữ, đánh giá hiệu suất của các hệ thống NLP, và nghiên cứu ngôn ngữ.

Perplexity là một độ đo phổ biến để đánh giá chất lượng của mô hình ngôn ngữ. Nó đo lường mức độ 'bất ngờ' của mô hình khi gặp một chuỗi văn bản mới. Perplexity thấp hơn thường chỉ ra mô hình ngôn ngữ tốt hơn, vì nó dự đoán chuỗi văn bản một cách tự tin hơn.

Tính đa nghĩa là một đặc trưng cố hữu của ngôn ngữ tự nhiên. Một từ hoặc cụm từ có thể có nhiều nghĩa khác nhau tùy thuộc vào ngữ cảnh sử dụng. Điều này gây khó khăn cho các hệ thống NLP vì chúng cần phải có khả năng phân biệt và chọn ra ý nghĩa phù hợp nhất trong ngữ cảnh cụ thể để hiểu đúng văn bản.

TF-IDF (Term Frequency-Inverse Document Frequency) là một kỹ thuật thống kê được sử dụng để đánh giá tầm quan trọng của một từ trong một văn bản so với một tập hợp các văn bản (corpus). TF-IDF giúp xác định những từ khóa quan trọng và đặc trưng cho một văn bản cụ thể.

Mô hình n-gram là một kỹ thuật thống kê đơn giản nhưng hiệu quả trong NLP, được sử dụng để mô hình hóa chuỗi các đơn vị (ví dụ: từ, ký tự) liên tiếp trong văn bản. Nó dựa trên giả định rằng xác suất xuất hiện của một đơn vị phụ thuộc vào n-1 đơn vị đứng trước nó. N-gram được sử dụng trong nhiều tác vụ như mô hình ngôn ngữ, sửa lỗi chính tả, và nhận dạng giọng nói.

Coreference resolution (giải quyết đồng tham chiếu) là một tác vụ NLP nhằm mục đích xác định tất cả các cụm từ hoặc đại từ trong văn bản (ví dụ: 'anh ấy', 'cô ấy', 'nó') đề cập đến cùng một thực thể (người, vật, sự kiện). Nó giúp hệ thống NLP hiểu được sự liên kết và mạch lạc trong văn bản.

Mô hình ngôn ngữ là một thành phần quan trọng trong NLP, được huấn luyện trên một lượng lớn dữ liệu văn bản để học cách ngôn ngữ hoạt động. Chức năng chính của nó là dự đoán xác suất xuất hiện của một chuỗi từ, từ đó có thể sinh ra văn bản mới, kiểm tra tính ngữ pháp, hoặc hỗ trợ các tác vụ khác.

Semantic similarity đo lường mức độ tương đồng về ý nghĩa giữa hai đơn vị ngôn ngữ (từ, câu, văn bản). Nó khác với sự tương đồng về hình thức (chính tả, âm thanh, cú pháp). Semantic similarity được ứng dụng trong nhiều tác vụ như tìm kiếm thông tin, gợi ý nội dung, và trả lời câu hỏi.

Polarity trong phân tích cảm xúc chỉ đến hướng của cảm xúc được thể hiện trong văn bản. Nó thường được phân loại thành ba loại chính: tích cực (positive), tiêu cực (negative), và trung lập (neutral).

Hệ thống trả lời câu hỏi tự động cần phải 'hiểu' câu hỏi bằng ngôn ngữ tự nhiên để có thể tìm kiếm thông tin liên quan và đưa ra câu trả lời chính xác. Các ứng dụng khác như kiểm tra chính tả, dịch văn bản, và soạn thảo văn bản có thể sử dụng NLP nhưng không nhất thiết phải 'hiểu' ngôn ngữ ở mức độ sâu sắc như hệ thống trả lời câu hỏi.

Mô hình Bag of Words chỉ quan tâm đến tần suất xuất hiện của từ trong văn bản mà bỏ qua hoàn toàn thứ tự của các từ. Điều này dẫn đến mất mát thông tin về ngữ cảnh và quan hệ giữa các từ trong câu, có thể ảnh hưởng đến hiệu suất trong một số tác vụ NLP.

Parsing (phân tích cú pháp) là quá trình phân tích cấu trúc ngữ pháp của một câu, xác định vai trò ngữ pháp của từng từ và mối quan hệ giữa chúng. Kết quả của parsing thường được biểu diễn dưới dạng cây cú pháp (parse tree) hoặc đồ thị phụ thuộc (dependency graph), thể hiện cấu trúc hierarchical và mối quan hệ phụ thuộc giữa các thành phần trong câu.

F1-score là một độ đo tổng hợp thường được sử dụng để đánh giá hiệu suất của mô hình trong các tác vụ phân loại (ví dụ: phân loại văn bản, phân tích cảm xúc, nhận dạng thực thể có tên). Nó là trung bình điều hòa giữa precision (độ chính xác) và recall (độ phủ), cung cấp một đánh giá cân bằng về hiệu suất của mô hình khi có sự mất cân bằng giữa các lớp.

Xử lý ngôn ngữ tự nhiên (NLP) là một nhánh của trí tuệ nhân tạo, tập trung vào việc giúp máy tính hiểu, diễn giải và tạo ra ngôn ngữ của con người một cách có giá trị và ý nghĩa.

Intent recognition là một thành phần cốt lõi trong chatbot và hệ thống đối thoại. Nó là quá trình phân tích câu nói của người dùng để xác định mục đích hoặc ý định chính của họ (ví dụ: đặt hàng, hỏi thông tin, yêu cầu hỗ trợ). Nhận dạng ý định chính xác là cơ sở để chatbot đưa ra phản hồi phù hợp.

Tiếng Việt là một ngôn ngữ đơn lập, không biến hình (isolating language), nghĩa là từ không biến đổi hình thái để biểu thị chức năng ngữ pháp. Thêm vào đó, tính đa nghĩa của từ và cụm từ trong tiếng Việt cũng cao. Những đặc điểm này gây khó khăn cho các tác vụ NLP như phân tích hình thái, phân tích cú pháp và giải quyết sự mơ hồ về nghĩa.

Zero-shot learning (học không mẫu) là một khả năng quan trọng của một số mô hình NLP tiên tiến, đặc biệt là các mô hình ngôn ngữ lớn. Nó cho phép mô hình thực hiện một tác vụ mới mà không cần được huấn luyện trực tiếp trên dữ liệu của tác vụ đó. Thay vào đó, mô hình sử dụng kiến thức đã học được từ các tác vụ liên quan hoặc từ dữ liệu huấn luyện rộng lớn để suy luận và đưa ra kết quả hợp lý.

BLEU (Bilingual Evaluation Understudy) score là một độ đo phổ biến để đánh giá chất lượng của văn bản được dịch máy tự động so với một hoặc nhiều bản dịch tham khảo do con người thực hiện. Nó đo mức độ tương đồng giữa bản dịch máy và bản dịch tham khảo.

Mô hình Transformer sử dụng cơ chế 'attention' cho phép xử lý song song các phần của chuỗi đầu vào, khắc phục hạn chế xử lý tuần tự của RNN. Đồng thời, cơ chế attention cũng giúp giải quyết vấn đề 'vanishing gradient' (mất mát đạo hàm) thường gặp trong RNN, cho phép mô hình học được các phụ thuộc xa trong chuỗi văn bản.

Word embedding là kỹ thuật biểu diễn từ vựng dưới dạng các vector số trong một không gian nhiều chiều. Các vector này nắm bắt được ngữ nghĩa và quan hệ ngữ pháp giữa các từ, giúp máy tính 'hiểu' được ý nghĩa của từ.

Fine-tuning (tinh chỉnh) là một bước quan trọng sau khi có một mô hình ngôn ngữ lớn đã được huấn luyện trước (pre-trained). Quá trình tinh chỉnh bao gồm việc tiếp tục huấn luyện mô hình này trên một tập dữ liệu nhỏ hơn và cụ thể hơn, được thiết kế cho một tác vụ NLP cụ thể (ví dụ: phân loại cảm xúc, trả lời câu hỏi). Điều này giúp mô hình thích nghi tốt hơn với tác vụ mục tiêu.

Stop words là những từ xuất hiện rất thường xuyên trong ngôn ngữ nhưng lại ít mang thông tin ngữ nghĩa quan trọng cho nhiều tác vụ NLP (ví dụ: giới từ, liên từ, mạo từ). Việc loại bỏ stop words giúp giảm kích thước dữ liệu, giảm nhiễu và có thể cải thiện hiệu suất của mô hình.

Biên dịch mã nguồn là công đoạn trong phát triển phần mềm, không liên quan đến xử lý ngôn ngữ tự nhiên. Các công đoạn còn lại (phân tích cú pháp, phân tích cảm xúc, nhận dạng thực thể) đều là các bước hoặc ứng dụng quan trọng trong NLP.

Named Entity Recognition (NER) là một tác vụ quan trọng trong NLP, tập trung vào việc xác định và phân loại các thực thể có tên trong văn bản, như tên người, tổ chức, địa điểm, ngày tháng, tiền tệ, v.v. NER giúp trích xuất thông tin có cấu trúc từ văn bản phi cấu trúc.

Cả stemming và lemmatization đều nhằm mục đích đưa các từ về dạng gốc của chúng. Stemming thực hiện việc này một cách heuristic (dựa trên quy tắc), có thể tạo ra các gốc từ không có nghĩa, trong khi lemmatization sử dụng từ điển và phân tích hình thái để đảm bảo gốc từ là một từ có nghĩa.