Đề thi, bài tập trắc nghiệm online Dữ liệu lớn (BigData) – Đề 3

Phân tích thời gian thực (real-time analytics) là quá trình phân tích dữ liệu ngay lập tức hoặc trong khoảng thời gian rất ngắn sau khi dữ liệu được tạo ra. Mục tiêu là cung cấp thông tin và insights kịp thời để có thể đưa ra quyết định và hành động ngay lập tức, ví dụ trong các ứng dụng như phát hiện gian lận trực tuyến, giám sát hệ thống, hoặc cá nhân hóa trải nghiệm người dùng.

Data Governance (Quản trị dữ liệu) là tập hợp các quy trình, chính sách, tiêu chuẩn và trách nhiệm liên quan đến việc quản lý, bảo mật, đảm bảo chất lượng và sử dụng dữ liệu một cách có trách nhiệm và hiệu quả trong một tổ chức. Nó bao gồm cả các khía cạnh pháp lý, đạo đức và kinh doanh liên quan đến dữ liệu.

Mặc dù công nghệ Dữ liệu lớn phát triển nhanh chóng, nhưng vẫn tồn tại một khoảng cách lớn về kỹ năng. Nhu cầu về các chuyên gia có kỹ năng phân tích dữ liệu, khoa học dữ liệu, kỹ sư Dữ liệu lớn, và các chuyên gia khác trong lĩnh vực này vượt xa nguồn cung hiện tại, gây ra thách thức lớn cho các tổ chức muốn khai thác hiệu quả Dữ liệu lớn.

Dữ liệu lớn trong y tế cho phép phân tích lượng lớn dữ liệu bệnh nhân, hồ sơ bệnh án, kết quả xét nghiệm, v.v. để xác định các mẫu và xu hướng, từ đó cá nhân hóa phương pháp điều trị, dự đoán bệnh tật và cải thiện kết quả điều trị cho bệnh nhân.

Tableau là một công cụ trực quan hóa dữ liệu mạnh mẽ, phổ biến trong lĩnh vực Dữ liệu lớn và Business Intelligence. Nó cho phép người dùng tạo ra các biểu đồ, đồ thị, dashboard tương tác để khám phá và trình bày dữ liệu một cách trực quan và dễ hiểu. Word, PowerPoint và Notepad không phải là công cụ trực quan hóa dữ liệu chuyên dụng.

Hadoop là một framework mã nguồn mở được thiết kế để xử lý và lưu trữ các tập dữ liệu lớn phân tán trên các cụm máy tính. Excel, MySQL và Photoshop không được thiết kế cho mục đích này.

Data wrangling (hay data munging) là quá trình chuẩn bị dữ liệu thô để phân tích. Nó bao gồm các bước như thu thập dữ liệu từ nhiều nguồn, làm sạch dữ liệu (xử lý dữ liệu thiếu, dữ liệu nhiễu), chuyển đổi dữ liệu sang định dạng phù hợp và cấu trúc lại dữ liệu để sẵn sàng cho các bước phân tích và khai phá dữ liệu tiếp theo.

Học máy (machine learning) là một nhánh của trí tuệ nhân tạo, được sử dụng rộng rãi trong Dữ liệu lớn để xây dựng các mô hình có thể học từ dữ liệu và thực hiện các tác vụ như phân loại, dự đoán, phân cụm, v.v. một cách tự động. Điều này giúp tự động hóa quá trình phân tích và đưa ra quyết định dựa trên lượng lớn dữ liệu.

'5Vs' của Dữ liệu lớn thường bao gồm Volume, Velocity, Variety, Veracity (Tính xác thực), và Value (Giá trị). 'Validity' (Tính hợp lệ) không nằm trong số 5Vs kinh điển này.

Value (Giá trị) đề cập đến giá trị kinh doanh, lợi ích và thông tin chi tiết có thể được khai thác từ Dữ liệu lớn. Mục tiêu cuối cùng của việc xử lý Dữ liệu lớn là tạo ra giá trị thực sự, có thể là tăng doanh thu, giảm chi phí, cải thiện quyết định, v.v.

Velocity (Tốc độ) trong Dữ liệu lớn nói đến tốc độ mà dữ liệu được tạo ra và dòng chảy dữ liệu. Nó nhấn mạnh việc dữ liệu đến liên tục và nhanh chóng, đòi hỏi các hệ thống phải có khả năng xử lý dữ liệu theo thời gian thực hoặc gần thời gian thực.

Dữ liệu trong bảng cơ sở dữ liệu quan hệ (RDBMS) được xem là 'cấu trúc' vì nó được tổ chức theo lược đồ định sẵn (bảng, cột, hàng). Văn bản, hình ảnh, video và dữ liệu cảm biến thường không tuân theo cấu trúc cố định và được coi là 'phi cấu trúc' hoặc 'bán cấu trúc'.

Nếu dữ liệu không chính xác hoặc không đáng tin cậy (Veracity thấp), các phân tích và quyết định dựa trên dữ liệu đó sẽ bị sai lệch hoặc không hiệu quả. Điều này có thể dẫn đến các quyết định kinh doanh tồi, dự báo sai, hoặc các hậu quả tiêu cực khác.

HDFS, Spark và Hive đều là các thành phần quan trọng trong hệ sinh thái Hadoop. HDFS là hệ thống tệp phân tán của Hadoop, Spark là framework xử lý dữ liệu nhanh chóng trên Hadoop, và Hive là hệ thống kho dữ liệu cho phép truy vấn dữ liệu trên Hadoop. SQL Server là một hệ quản trị cơ sở dữ liệu quan hệ của Microsoft, không phải là một phần của hệ sinh thái Hadoop.

Các thiết bị IoT tạo ra lượng dữ liệu khổng lồ liên tục. Dữ liệu lớn đóng vai trò then chốt trong việc thu thập, xử lý và phân tích dữ liệu này để trích xuất thông tin giá trị, từ đó hỗ trợ đưa ra các quyết định tự động, tối ưu hóa hoạt động và tạo ra các dịch vụ thông minh trong nhiều lĩnh vực (nhà thông minh, thành phố thông minh, công nghiệp 4.0).

Soạn thảo văn bản trên Microsoft Word là một ứng dụng xử lý văn bản thông thường, không liên quan đến việc phân tích hoặc xử lý lượng lớn dữ liệu như các ví dụ khác về thương mại điện tử, dự báo thời tiết và phát hiện gian lận tài chính.

Trong thành phố thông minh, Dữ liệu lớn được sử dụng để thu thập và phân tích dữ liệu từ nhiều nguồn khác nhau (cảm biến giao thông, camera giám sát, dữ liệu GPS, v.v.) nhằm tối ưu hóa các dịch vụ đô thị. Phân tích dữ liệu giao thông để cải thiện luồng giao thông và giao thông công cộng là một ví dụ điển hình, giúp giảm ùn tắc, tiết kiệm thời gian và nhiên liệu, nâng cao chất lượng cuộc sống đô thị.

Điện toán đám mây cung cấp cơ sở hạ tầng linh hoạt và có khả năng mở rộng cao cho Dữ liệu lớn. Người dùng có thể dễ dàng tăng hoặc giảm tài nguyên tính toán và lưu trữ theo nhu cầu, chỉ phải trả tiền cho những gì mình sử dụng, giúp giảm chi phí đầu tư ban đầu vào phần cứng và hạ tầng IT.

Cơ sở dữ liệu NoSQL (Not only SQL) được thiết kế để xử lý lượng lớn dữ liệu phi cấu trúc hoặc bán cấu trúc, có khả năng mở rộng ngang tốt hơn so với RDBMS truyền thống, phù hợp với yêu cầu của Dữ liệu lớn.

Hive là một hệ thống kho dữ liệu được xây dựng trên Hadoop, cho phép người dùng truy vấn và phân tích dữ liệu lớn bằng ngôn ngữ truy vấn tương tự SQL (HiveQL). Access, PowerPoint và Paint không phải là công cụ phân tích dữ liệu trên Hadoop.

Mô hình MapReduce là nền tảng của Hadoop. Nó hoạt động bằng cách chia nhỏ tập dữ liệu lớn và bài toán phức tạp thành các tác vụ nhỏ hơn (Map), phân phối chúng đến nhiều máy tính trong cụm để xử lý song song, sau đó tổng hợp kết quả từ các máy tính này (Reduce) để đưa ra kết quả cuối cùng.

Điểm khác biệt chính là Data Lake lưu trữ dữ liệu ở dạng thô, định dạng gốc của nó, sẵn sàng cho nhiều mục đích sử dụng khác nhau sau này. Data Warehouse lưu trữ dữ liệu đã được xử lý, làm sạch và chuyển đổi (thường theo mô hình lược đồ) để phục vụ các mục đích phân tích cụ thể.

Dữ liệu lớn thường chứa lượng lớn thông tin cá nhân, đôi khi là thông tin nhạy cảm, và được thu thập từ nhiều nguồn khác nhau, làm tăng nguy cơ xâm phạm quyền riêng tư nếu không được quản lý và bảo vệ đúng cách. Việc thu thập và phân tích dữ liệu lớn có thể tiết lộ thông tin cá nhân mà người dùng không mong muốn chia sẻ.

Data Mining là quá trình khám phá các mẫu, xu hướng, và tri thức ẩn từ các tập dữ liệu lớn. Mục tiêu chính là tìm ra thông tin có giá trị và hữu ích từ dữ liệu thô, khác với việc chỉ lưu trữ, trực quan hóa hoặc bảo mật dữ liệu.

Data silos (tổ chức dữ liệu rời rạc) xảy ra khi dữ liệu được lưu trữ và quản lý độc lập trong các phòng ban hoặc hệ thống khác nhau, gây khó khăn cho việc chia sẻ và tích hợp dữ liệu. Điều này hạn chế khả năng kết hợp dữ liệu từ nhiều nguồn để phân tích toàn diện, tìm ra các mối liên hệ và insights quan trọng, làm giảm giá trị tiềm năng của Dữ liệu lớn.

Veracity trong Dữ liệu lớn đề cập đến tính xác thực và độ tin cậy của dữ liệu. Thách thức lớn nhất là đảm bảo rằng dữ liệu được sử dụng để phân tích là chính xác và đáng tin cậy, đặc biệt khi dữ liệu đến từ nhiều nguồn khác nhau và có thể chứa lỗi hoặc thông tin sai lệch.

Cơ sở dữ liệu cột (columnar database) lưu trữ dữ liệu theo cột thay vì hàng. Điều này rất hiệu quả cho các truy vấn phân tích (OLAP) thường chỉ cần truy cập một số cột cụ thể trên nhiều hàng. Khi truy vấn, hệ thống chỉ cần đọc các cột cần thiết, giảm thiểu I/O và tăng tốc độ truy vấn, đặc biệt khi làm việc với Dữ liệu lớn.

Xử lý trong bộ nhớ (in-memory processing) giúp tăng tốc độ xử lý dữ liệu đáng kể vì dữ liệu được lưu trữ và xử lý trực tiếp trong RAM (bộ nhớ truy cập ngẫu nhiên) thay vì trên đĩa cứng. Việc này giảm thiểu thời gian chờ đợi đọc/ghi đĩa, vốn là một nút thắt cổ chai trong xử lý dữ liệu truyền thống.

Python là một ngôn ngữ lập trình rất phổ biến trong lĩnh vực Dữ liệu lớn và Khoa học dữ liệu nhờ cú pháp dễ đọc, thư viện phong phú (như Pandas, NumPy, Scikit-learn) và khả năng tích hợp tốt với các framework Dữ liệu lớn như Spark và Hadoop.

Kiến trúc Lambda được thiết kế để xử lý cả dữ liệu theo lô (batch processing) cho phân tích lịch sử và dữ liệu luồng (stream processing) cho phân tích thời gian thực, thường sử dụng hai đường dẫn xử lý riêng biệt và sau đó hợp nhất kết quả. Kiến trúc Kappa đơn giản hóa bằng cách chỉ sử dụng đường dẫn xử lý luồng cho mọi loại dữ liệu.