Đề thi, bài tập trắc nghiệm online Dữ liệu lớn (BigData) – Đề 6

Data Mining là quá trình khám phá tri thức, mẫu, xu hướng và thông tin hữu ích ẩn chứa trong các tập dữ liệu lớn. Mục tiêu chính là biến dữ liệu thô thành thông tin có giá trị.

Dimensionality Reduction (Giảm chiều dữ liệu) là quá trình giảm số lượng thuộc tính (features) trong tập dữ liệu. Mục tiêu chính là đơn giản hóa mô hình, giảm nhiễu, cải thiện hiệu suất tính toán và đôi khi cải thiện khả năng diễn giải mô hình mà không làm mất đi thông tin quan trọng.

Apache Spark Streaming là một framework phổ biến được thiết kế để xử lý dữ liệu theo dòng (dữ liệu liên tục được tạo ra) trong thời gian thực. Hadoop MapReduce thích hợp hơn cho xử lý dữ liệu theo lô (batch processing).

Data Sampling (Lấy mẫu dữ liệu) là kỹ thuật chọn ra một phần nhỏ dữ liệu (mẫu) từ tập dữ liệu lớn để phân tích. Mục đích là để giảm chi phí tính toán và thời gian phân tích, đồng thời vẫn có thể đưa ra ước tính hoặc kết luận về toàn bộ tập dữ liệu dựa trên mẫu đại diện.

Trong ETL (Extract, Transform, Load), dữ liệu được chuyển đổi (Transform) trước khi được tải (Load) vào hệ thống đích. Trong ELT (Extract, Load, Transform), dữ liệu được tải (Load) vào hệ thống đích trước, sau đó mới được chuyển đổi (Transform) tại hệ thống đích. ELT thường được ưa chuộng trong môi trường Data Lake vì tận dụng khả năng xử lý của hệ thống lưu trữ.

'Volume' (Khối lượng) là một trong 5Vs của Big Data, và nó đề cập trực tiếp đến lượng dữ liệu cực lớn mà các tổ chức phải đối mặt. Thách thức chính là làm sao lưu trữ, quản lý và xử lý hiệu quả khối lượng dữ liệu khổng lồ này.

Xử lý trong bộ nhớ (in-memory processing) tận dụng RAM để lưu trữ và xử lý dữ liệu, giảm thiểu đáng kể thời gian truy cập đĩa (disk I/O) vốn là một nút cổ chai trong xử lý dữ liệu truyền thống. Điều này dẫn đến tốc độ xử lý dữ liệu nhanh hơn đáng kể.

Data Federation (Liên kết dữ liệu) là một phương pháp tích hợp dữ liệu ảo hóa, cho phép truy cập và truy vấn dữ liệu từ nhiều nguồn khác nhau (ví dụ: cơ sở dữ liệu, Data Lake) mà không cần phải di chuyển hoặc sao chép dữ liệu đến một vị trí trung tâm. Nó giúp giải quyết vấn đề phân tán dữ liệu và giảm thiểu sự phức tạp trong việc quản lý dữ liệu.

Trong kiến trúc Big Data, RDBMS truyền thống ít khi đóng vai trò trung tâm trong việc xử lý dữ liệu lớn do khả năng mở rộng hạn chế. Các thành phần phổ biến khác bao gồm nguồn dữ liệu, nền tảng xử lý phân tán (như Hadoop, Spark) và lớp trực quan hóa để trình bày kết quả phân tích.

Quản lý danh sách liên hệ cá nhân trên điện thoại không yêu cầu xử lý dữ liệu lớn. Các ứng dụng còn lại (dự đoán thị trường chứng khoán, cá nhân hóa mua sắm, phát hiện gian lận) đều là các ví dụ điển hình sử dụng Dữ liệu lớn để phân tích lượng lớn thông tin và đưa ra quyết định.

Data Silos (Ống khói dữ liệu) là tình trạng dữ liệu bị phân mảnh và cô lập trong các bộ phận, phòng ban hoặc hệ thống khác nhau của một tổ chức. Điều này gây khó khăn trong việc chia sẻ, tích hợp và khai thác dữ liệu hiệu quả, hạn chế khả năng tận dụng giá trị từ dữ liệu lớn.

Hadoop là một framework mã nguồn mở được thiết kế để lưu trữ và xử lý dữ liệu lớn một cách phân tán trên các cụm máy tính. Nó nổi tiếng với HDFS (Hadoop Distributed File System) để lưu trữ và MapReduce để xử lý song song.

Data Lineage (Dòng dõi dữ liệu) là quá trình theo dõi và ghi lại nguồn gốc, các bước biến đổi và luồng dữ liệu từ điểm khởi đầu đến điểm cuối cùng. Nó giúp hiểu rõ hơn về chất lượng dữ liệu, xác định lỗi và đảm bảo tính minh bạch và tuân thủ trong quy trình xử lý dữ liệu.

Data Catalog (Danh mục dữ liệu) là một kho lưu trữ metadata (dữ liệu về dữ liệu) cho phép người dùng tìm kiếm, khám phá, hiểu và quản lý dữ liệu trong tổ chức. Nó hoạt động như một thư viện hoặc mục lục, cung cấp thông tin chi tiết về dữ liệu (nguồn gốc, định dạng, ý nghĩa, độ tin cậy, v.v.).

'Veracity' trong Big Data đề cập đến độ tin cậy và chính xác của dữ liệu. Thử thách lớn nhất là đối phó với sự không chắc chắn, nhiễu, và không nhất quán trong dữ liệu, có thể đến từ nhiều nguồn khác nhau.

Data Partitioning (Phân vùng dữ liệu) là kỹ thuật chia tập dữ liệu lớn thành các phần nhỏ hơn, độc lập (phân vùng). Điều này giúp cải thiện hiệu suất truy vấn (do truy vấn chỉ cần quét qua các phân vùng liên quan), quản lý dữ liệu (dễ dàng sao lưu, phục hồi, bảo trì theo từng phân vùng) và tăng khả năng song song hóa trong xử lý dữ liệu.

Apache Kafka là một nền tảng stream processing phân tán, được sử dụng chủ yếu để xây dựng các pipeline dữ liệu theo thời gian thực và làm message broker. Nó cho phép các ứng dụng publish và subscribe vào các luồng dữ liệu, xử lý dữ liệu liên tục khi nó được tạo ra.

Data Wrangling (hoặc Data Munging) là quá trình chuẩn bị dữ liệu cho phân tích. Nó bao gồm các bước như làm sạch dữ liệu (xử lý dữ liệu thiếu, dữ liệu nhiễu), chuyển đổi dữ liệu (ví dụ: chuẩn hóa, tổng hợp), hợp nhất dữ liệu từ nhiều nguồn khác nhau và định dạng lại dữ liệu để phù hợp với công cụ phân tích.

Cơ sở dữ liệu NoSQL (Not Only SQL) được thiết kế để vượt qua các hạn chế về khả năng mở rộng của RDBMS truyền thống khi xử lý Dữ liệu lớn. RDBMS thường gặp khó khăn trong việc mở rộng theo chiều ngang (scale-out) để đáp ứng yêu cầu về khối lượng và tốc độ dữ liệu lớn, trong khi NoSQL được thiết kế để dễ dàng mở rộng quy mô phân tán.

Giải pháp Dữ liệu lớn trên nền tảng đám mây (cloud-based) thường có ưu điểm về chi phí ban đầu thấp hơn (do không cần đầu tư cơ sở hạ tầng ban đầu lớn) và khả năng mở rộng linh hoạt (scale-up/scale-down) theo nhu cầu sử dụng. Giải pháp tại chỗ (on-premises) đòi hỏi đầu tư ban đầu lớn và khả năng mở rộng có thể hạn chế hơn.

5Vs của Big Data thường bao gồm: Volume (Khối lượng), Velocity (Tốc độ), Variety (Đa dạng), Veracity (Độ tin cậy), và Value (Giá trị). Tuy nhiên, trong danh sách lựa chọn, Value không phải là yếu tố KHÔNG thuộc 5Vs, mà là một trong số đó. Câu hỏi có thể gây nhầm lẫn, ý đúng nhất là Value, dù nó là một V, nhưng câu hỏi hỏi 'KHÔNG phải'. Có lẽ câu hỏi nên được diễn đạt lại để rõ ràng hơn về ý định hỏi yếu tố KHÔNG thuộc nhóm 5Vs phổ biến nhất (Volume, Velocity, Variety).

'Velocity' (Tốc độ) trong 5Vs của Big Data đề cập đến tốc độ mà dữ liệu được tạo ra, truyền tải và cần được xử lý. Thách thức là phải xử lý dòng dữ liệu liên tục và nhanh chóng để kịp thời đưa ra quyết định hoặc hành động.

Trong 5Vs của Big Data, 'Variety' đề cập đến sự đa dạng về loại dữ liệu (có cấu trúc, bán cấu trúc, phi cấu trúc). Bản ghi giao dịch từ hệ thống POS thường có cấu trúc (dữ liệu định dạng bảng), trong khi các lựa chọn khác (mạng xã hội, IoT) thường phi cấu trúc hoặc bán cấu trúc.

Data Lakehouse là một kiến trúc mới nổi, kết hợp tính linh hoạt và chi phí thấp của Data Lake với khả năng quản lý dữ liệu, độ tin cậy và hiệu suất truy vấn của Data Warehouse. Mục tiêu chính là cung cấp một nền tảng duy nhất để phân tích cả dữ liệu thô và dữ liệu đã được cấu trúc hóa, đồng thời hỗ trợ các tính năng Data Governance quan trọng.

'Scalability' (Khả năng mở rộng) là khả năng hệ thống có thể xử lý khối lượng công việc tăng lên (ví dụ: dữ liệu lớn hơn, số lượng người dùng nhiều hơn) một cách hiệu quả. Yếu tố này đặc biệt quan trọng trong Dữ liệu lớn vì dữ liệu thường có xu hướng tăng trưởng nhanh chóng theo thời gian.

Data Lake lưu trữ dữ liệu ở dạng thô, định dạng gốc, sẵn sàng cho nhiều mục đích sử dụng sau này, bao gồm cả dữ liệu phi cấu trúc. Data Warehouse lưu trữ dữ liệu đã được làm sạch, chuyển đổi và cấu trúc hóa để phục vụ các mục đích phân tích và báo cáo cụ thể.

Data Governance (Quản trị dữ liệu) là tập hợp các quy trình, chính sách và tiêu chuẩn để quản lý dữ liệu của một tổ chức. Mục tiêu chính là đảm bảo dữ liệu có chất lượng cao, bảo mật, tuân thủ các quy định và dễ dàng được sử dụng cho các mục đích kinh doanh.

Lambda Architecture là một mô hình kiến trúc Dữ liệu lớn phổ biến, bao gồm ba lớp: Batch Layer (lưu trữ và xử lý dữ liệu lịch sử theo lô), Speed Layer (xử lý dữ liệu mới nhất theo dòng trong thời gian thực) và Serving Layer (phục vụ kết quả truy vấn). Speed Layer tập trung vào việc cung cấp phân tích thời gian thực cho dữ liệu mới nhất.

'Schema on Read' có nghĩa là lược đồ dữ liệu không được xác định trước khi dữ liệu được lưu trữ mà được áp dụng khi dữ liệu được truy vấn hoặc đọc. Data Lake thường sử dụng 'Schema on Read' để linh hoạt với nhiều loại dữ liệu khác nhau, trái ngược với 'Schema on Write' (Lược đồ khi ghi) của Data Warehouse và RDBMS.

Data Masking (hay Data Obfuscation) là kỹ thuật làm xáo trộn hoặc thay thế dữ liệu nhạy cảm (như thông tin cá nhân) bằng dữ liệu giả mạo nhưng vẫn giữ được định dạng và tính nhất quán để bảo vệ dữ liệu gốc khi sử dụng cho mục đích phát triển, thử nghiệm hoặc phân tích không chính thức.