Đề thi, bài tập trắc nghiệm online Xử lý ngôn ngữ tự nhiên – Đề 15

Chatbots và trợ lý ảo sử dụng NLP để hiểu yêu cầu của người dùng thông qua ngôn ngữ tự nhiên (văn bản hoặc giọng nói), xử lý yêu cầu đó, và phản hồi lại người dùng bằng ngôn ngữ tự nhiên. Khả năng giao tiếp tự nhiên là chức năng cốt lõi của chúng.

BERT được huấn luyện theo mô hình 'masked language model' và 'next sentence prediction', cho phép nó học biểu diễn ngữ cảnh từ cả hai hướng (bidirectional). Điều này giúp BERT hiểu ngữ nghĩa của từ trong câu một cách sâu sắc hơn so với các mô hình chỉ đọc theo một hướng (unidirectional) như trước đây.

Xử lý ngôn ngữ tự nhiên (NLP) là một nhánh của trí tuệ nhân tạo, tập trung vào việc giúp máy tính có khả năng hiểu, diễn giải và tạo ra ngôn ngữ của con người theo cách có giá trị và ý nghĩa.

Dịch máy là một lĩnh vực quan trọng của NLP, tập trung vào việc tự động dịch văn bản hoặc lời nói từ một ngôn ngữ (nguồn) sang một ngôn ngữ khác (đích). Đây là một bài toán phức tạp đòi hỏi hiểu cả ngữ nghĩa và cấu trúc của cả hai ngôn ngữ.

POS tagging là quá trình gán nhãn từ loại cho mỗi từ trong một câu, xác định vai trò ngữ pháp của từ đó (ví dụ: danh từ, động từ, tính từ, trạng từ, giới từ...). Thông tin này quan trọng cho nhiều tác vụ NLP khác như phân tích cú pháp, NER, và dịch máy.

Phân tích cảm xúc (Sentiment Analysis) là quá trình xác định và phân loại cảm xúc (ví dụ: tích cực, tiêu cực, trung lập) được thể hiện trong một đoạn văn bản. Nó giúp đánh giá ý kiến, quan điểm hoặc thái độ của người viết đối với một chủ đề, sản phẩm, dịch vụ, v.v.

Stop words (từ dừng) là các từ xuất hiện thường xuyên trong văn bản (ví dụ: 'là', 'và', 'của', 'cái', 'ở'). Chúng thường ít mang ý nghĩa quan trọng trong nhiều tác vụ NLP và có thể bị loại bỏ để giảm nhiễu và tăng hiệu quả xử lý.

Word embeddings biểu diễn từ dưới dạng vector số trong không gian nhiều chiều, sao cho các từ có ngữ nghĩa tương tự nhau sẽ nằm gần nhau trong không gian vector. Điều này cho phép mô hình NLP hiểu được mối quan hệ ngữ nghĩa giữa các từ, vượt trội hơn so với Bag of Words chỉ dựa trên tần suất từ.

Cả stemming và lemmatization đều nhằm mục đích đưa các từ về dạng gốc hoặc dạng chuẩn của chúng. Tuy nhiên, stemming thực hiện việc này một cách đơn giản bằng cách cắt bỏ các hậu tố, trong khi lemmatization sử dụng từ điển và phân tích hình thái để đưa về dạng từ điển (lemma) chính xác hơn.

Tóm tắt văn bản (Text Summarization) là quá trình tạo ra một phiên bản ngắn gọn hơn của văn bản gốc, chứa đựng những thông tin quan trọng nhất. Có hai phương pháp chính là tóm tắt trích xuất (extractive summarization) và tóm tắt trừu tượng (abstractive summarization).

RNN được thiết kế để xử lý dữ liệu chuỗi tuần tự bằng cách duy trì trạng thái ẩn (hidden state) qua các bước thời gian. Điều này giúp RNN ghi nhớ thông tin từ các bước trước đó trong chuỗi, rất quan trọng để hiểu ngữ cảnh trong văn bản hoặc chuỗi âm thanh.

N-gram là một chuỗi gồm n từ liên tiếp được trích xuất từ một văn bản. Ví dụ, trong câu 'NLP is interesting', các 2-gram (bigram) là 'NLP is', 'is interesting'. N-gram được sử dụng trong nhiều tác vụ NLP như mô hình ngôn ngữ, tìm kiếm thông tin, và phát hiện ngôn ngữ.

Hiểu ngữ cảnh là khả năng của mô hình NLP hiểu được ý nghĩa của từ hoặc câu không chỉ dựa trên bản thân từ/câu đó mà còn dựa trên ngữ cảnh xung quanh. Ngữ cảnh rất quan trọng vì một từ hoặc cụm từ có thể có nhiều nghĩa khác nhau tùy thuộc vào ngữ cảnh sử dụng.

RNN gặp khó khăn trong việc song song hóa tính toán do tính tuần tự của quá trình xử lý. Transformer Networks, với cơ chế self-attention, cho phép xử lý song song các phần tử trong chuỗi đầu vào, giúp tăng tốc độ huấn luyện và xử lý, đặc biệt hiệu quả với chuỗi văn bản dài.

Phân tích cú pháp (Parsing) là quá trình phân tích cấu trúc ngữ pháp của câu, xác định mối quan hệ giữa các từ và cụm từ, từ đó tạo ra cây cú pháp (parse tree) hoặc biểu diễn cấu trúc ngữ pháp khác. Nó giúp máy tính hiểu sâu hơn về cấu trúc và ý nghĩa của câu.

TF-IDF là một kỹ thuật thống kê được sử dụng để đánh giá tầm quan trọng của một từ trong một văn bản so với một tập hợp các văn bản (corpus). TF-IDF tăng cao đối với các từ xuất hiện nhiều trong một văn bản cụ thể nhưng ít xuất hiện trong toàn bộ tập hợp văn bản, cho thấy từ đó đặc trưng cho văn bản đó.

NER là một kỹ thuật NLP giúp xác định và phân loại các thực thể có tên trong văn bản thành các danh mục định trước, chẳng hạn như tên người, tổ chức, địa điểm, ngày tháng, tiền tệ, v.v. Nó quan trọng trong việc trích xuất thông tin và hiểu cấu trúc ngữ nghĩa của văn bản.

Các ngôn ngữ khác nhau có cấu trúc ngữ pháp, từ vựng và quy tắc ngôn ngữ khác nhau đáng kể. Điều này tạo ra thách thức lớn cho NLP khi xây dựng các mô hình có thể xử lý hiệu quả nhiều ngôn ngữ, đòi hỏi phải có kiến thức ngôn ngữ học sâu rộng và các phương pháp xử lý phù hợp cho từng ngôn ngữ.

Mô hình ngôn ngữ là một thành phần quan trọng trong NLP, có khả năng dự đoán xác suất xuất hiện của một chuỗi từ trong ngôn ngữ. Nó được sử dụng rộng rãi trong nhiều ứng dụng như tự động hoàn thành văn bản, dịch máy, nhận dạng giọng nói, và tạo sinh văn bản.

Ô nhiễm tiếng ồn không phải là một mối lo ngại đạo đức trực tiếp liên quan đến NLP. Các mối lo ngại đạo đức chính trong NLP xoay quanh vấn đề thiên vị trong dữ liệu và thuật toán, khả năng lạm dụng công nghệ cho mục đích xấu, và tác động môi trường (như tiêu thụ năng lượng).

Tokenization là quá trình chia một chuỗi văn bản thành các đơn vị nhỏ hơn được gọi là token. Các token này thường là từ, cụm từ, ký tự hoặc các đơn vị ngữ nghĩa khác, tùy thuộc vào mục tiêu phân tích.

Cơ chế attention cho phép mô hình tập trung vào các phần liên quan nhất của dữ liệu đầu vào khi đưa ra quyết định. Trong NLP, attention giúp mô hình xác định từ nào trong câu đầu vào là quan trọng nhất khi tạo ra từ tương ứng trong câu đầu ra (ví dụ trong dịch máy), hoặc khi hiểu ý nghĩa của câu.

Ngôn ngữ tự nhiên của con người vốn dĩ mơ hồ, đa nghĩa và phụ thuộc vào ngữ cảnh. Máy tính gặp khó khăn trong việc giải quyết sự mơ hồ này để hiểu đúng ý nghĩa mà con người muốn truyền đạt. Đây là một trong những thách thức cốt lõi của NLP.

NLP được ứng dụng trong y tế để phân tích bệnh án điện tử, trích xuất thông tin quan trọng, hỗ trợ bác sĩ trong việc chẩn đoán bệnh và đưa ra phác đồ điều trị. Các ứng dụng khác không liên quan trực tiếp đến lĩnh vực y tế sử dụng NLP.

Mô hình Bag of Words (BOW) biểu diễn văn bản chỉ dựa trên tần suất xuất hiện của các từ, bỏ qua hoàn toàn thứ tự và cấu trúc ngữ pháp của chúng. Điều này dẫn đến mất mát thông tin quan trọng về ngữ cảnh và mối quan hệ giữa các từ.

Biên dịch mã nguồn là quá trình chuyển đổi mã chương trình từ ngôn ngữ lập trình cấp cao sang ngôn ngữ máy, không liên quan đến xử lý ngôn ngữ tự nhiên. Các công đoạn còn lại đều là các bước hoặc ứng dụng phổ biến trong NLP.

Truy xuất thông tin (Information Retrieval - IR) là lĩnh vực tập trung vào việc tìm kiếm và truy xuất thông tin phù hợp từ một tập hợp lớn các tài liệu. Công cụ tìm kiếm (như Google, Bing) là ứng dụng điển hình nhất của IR, sử dụng các kỹ thuật NLP để hiểu truy vấn của người dùng và tìm kiếm các tài liệu liên quan.

GPT được thiết kế đặc biệt để tạo sinh văn bản. Với khả năng học hỏi từ lượng lớn dữ liệu văn bản, GPT có thể tạo ra văn bản mới có cấu trúc ngữ pháp và ngữ nghĩa khá tốt, ứng dụng trong viết bài, chatbot, và nhiều tác vụ sinh văn bản khác.

Để đánh giá hiệu suất của mô hình NLP, người ta thường sử dụng các độ đo như độ chính xác (Accuracy), độ bao phủ (Recall), độ đo F1 (F1-score), và AUC-ROC (Area Under the ROC Curve), tùy thuộc vào bài toán cụ thể (ví dụ: phân loại văn bản, NER, phân tích cảm xúc). Các độ đo này đánh giá khả năng của mô hình trong việc đưa ra dự đoán chính xác.

Phần mềm chỉnh sửa ảnh chủ yếu tập trung vào xử lý hình ảnh và thị giác máy tính, không liên quan trực tiếp đến xử lý ngôn ngữ tự nhiên. Các ứng dụng còn lại (chatbot, dịch máy, phân loại tin tức) đều là các ví dụ điển hình về ứng dụng NLP.