Đề thi, bài tập trắc nghiệm online Dữ liệu lớn (BigData) – Đề 14

Data Governance bao gồm các quy tắc, vai trò, trách nhiệm và quy trình để đảm bảo dữ liệu được quản lý một cách có hệ thống, an toàn, chất lượng và tuân thủ các quy định. Nó rất quan trọng trong Big Data để đảm bảo dữ liệu được sử dụng một cách có trách nhiệm và hiệu quả.

Giải pháp Big Data trên đám mây cung cấp tính linh hoạt cao trong việc mở rộng hoặc thu hẹp tài nguyên theo nhu cầu, và giúp giảm chi phí đầu tư ban đầu vào cơ sở hạ tầng phần cứng và phần mềm. Giải pháp on-premise cho phép kiểm soát trực tiếp hơn, nhưng có thể kém linh hoạt và tốn kém hơn về mặt chi phí ban đầu.

Mặc dù Big Data Analytics có thể mang lại nhiều lợi ích cho y tế, việc tăng cường bảo mật thông tin cá nhân của bệnh nhân không phải là một lợi ích trực tiếp. Thực tế, việc thu thập và phân tích lượng lớn dữ liệu y tế có thể đặt ra thách thức về bảo mật và quyền riêng tư nếu không được quản lý cẩn thận.

Cơ sở dữ liệu NoSQL được thiết kế để xử lý dữ liệu lớn, đa dạng và có khả năng mở rộng ngang (horizontally scalable) tốt hơn cơ sở dữ liệu SQL. Chúng đặc biệt phù hợp với dữ liệu phi cấu trúc và bán cấu trúc, trong khi cơ sở dữ liệu SQL mạnh về dữ liệu có cấu trúc và tính toàn vẹn.

'Value' trong 5V nhấn mạnh rằng, dù dữ liệu lớn có các đặc điểm Volume, Velocity, Variety, và Veracity, giá trị thực sự nằm ở khả năng chuyển đổi dữ liệu đó thành thông tin hữu ích, kiến thức, và cuối cùng là giá trị kinh doanh hoặc lợi ích thực tế.

Mô hình 5V của Big Data thường bao gồm: Volume (Khối lượng), Velocity (Tốc độ), Variety (Đa dạng), Veracity (Tính xác thực), và Value (Giá trị). 'Validity' (Tính hợp lệ) không phải là một trong 5V chính thức.

Học máy là một nhánh của trí tuệ nhân tạo (AI), tập trung vào việc phát triển các thuật toán và mô hình cho phép máy tính học hỏi từ dữ liệu mà không cần được lập trình một cách rõ ràng. Trong Big Data, Machine Learning được sử dụng để khám phá các mẫu phức tạp, dự đoán, phân loại và tự động hóa nhiều tác vụ.

Các thiết bị IoT tạo ra lượng dữ liệu khổng lồ và liên tục. Big Data đóng vai trò thiết yếu trong việc thu thập, lưu trữ, xử lý và phân tích dữ liệu này để rút ra thông tin hữu ích, giám sát, điều khiển thiết bị, và cung cấp các dịch vụ thông minh dựa trên IoT.

Bảo mật dữ liệu lớn đòi hỏi các biện pháp toàn diện, bao gồm mã hóa dữ liệu để bảo vệ khỏi truy cập trái phép, kiểm soát truy cập để giới hạn ai có thể xem và sử dụng dữ liệu, và tuân thủ các quy định về quyền riêng tư để đảm bảo việc xử lý dữ liệu hợp pháp và có trách nhiệm.

Hive là một hệ thống kho dữ liệu được xây dựng trên Hadoop, cho phép người dùng truy vấn và phân tích dữ liệu lớn bằng ngôn ngữ truy vấn giống SQL (HiveQL). Nó giúp đơn giản hóa việc truy vấn dữ liệu phức tạp trong môi trường Hadoop.

Trực quan hóa dữ liệu sử dụng các biểu đồ, đồ thị và hình ảnh để trình bày dữ liệu một cách trực quan, giúp người dùng dễ dàng nhận biết các mẫu, xu hướng, và thông tin quan trọng trong dữ liệu lớn, từ đó đưa ra quyết định tốt hơn.

Việc sử dụng Big Data và AI có thể vô tình dẫn đến phân biệt đối xử hoặc thiên vị nếu dữ liệu huấn luyện mô hình phản ánh các thiên kiến xã hội hiện có hoặc thuật toán được thiết kế không công bằng. Đây là một vấn đề đạo đức lớn cần được xem xét và giải quyết.

Sự khác biệt chính giữa Data Warehouse và Data Lake nằm ở loại dữ liệu mà chúng lưu trữ và cách dữ liệu được xử lý. Data Warehouse thường lưu trữ dữ liệu đã được cấu trúc, làm sạch và chuyển đổi (ETL) cho mục đích phân tích cụ thể. Data Lake linh hoạt hơn, chứa dữ liệu thô ở nhiều định dạng khác nhau, sẵn sàng cho nhiều mục đích sử dụng khác nhau sau này.

Apache Spark Streaming là một framework được thiết kế đặc biệt để xử lý dữ liệu dòng (dữ liệu liên tục đến theo thời gian) trong thời gian thực. Hadoop MapReduce phù hợp hơn cho xử lý dữ liệu batch (dữ liệu theo lô).

Khai thác dữ liệu là quá trình khám phá các mẫu, xu hướng, và thông tin có giá trị ẩn chứa trong các tập dữ liệu lớn. Mục tiêu chính là biến dữ liệu thô thành kiến thức hữu ích cho việc ra quyết định.

Big Data và các công nghệ liên quan thường được sử dụng khi đối mặt với dữ liệu có khối lượng lớn, tốc độ cao, và đa dạng. Nếu dữ liệu nhỏ, có cấu trúc tốt và mục tiêu phân tích đơn giản, các công cụ và phương pháp truyền thống có thể hiệu quả và tiết kiệm chi phí hơn.

'Veracity' tập trung vào chất lượng và độ tin cậy của dữ liệu. Trong Big Data, lượng dữ liệu khổng lồ có thể chứa nhiều lỗi, nhiễu, và thông tin không chính xác, làm cho việc đảm bảo tính xác thực trở thành một thách thức lớn.

Kiến trúc Lambda phân chia xử lý dữ liệu thành hai layer chính: Batch layer xử lý toàn bộ dữ liệu lịch sử để đảm bảo độ chính xác và đầy đủ, thường sử dụng các công cụ như Hadoop. Speed layer xử lý dữ liệu mới nhất (dữ liệu dòng) với độ trễ thấp để cung cấp thông tin gần thời gian thực, thường dùng các công nghệ như Spark Streaming.

'Variety' trong Big Data đề cập đến sự đa dạng về loại dữ liệu, bao gồm dữ liệu có cấu trúc (structured), bán cấu trúc (semi-structured), và phi cấu trúc (unstructured). Dữ liệu quan hệ có cấu trúc, dù là một loại dữ liệu, nhưng 'Variety' nhấn mạnh vào sự kết hợp của nhiều loại khác nhau, đặc biệt là phi cấu trúc và bán cấu trúc.

Spark SQL là một công cụ mạnh mẽ để xử lý dữ liệu có cấu trúc, nhưng nó là một phần của hệ sinh thái Apache Spark, không phải là thành phần cốt lõi của Hadoop. HDFS, MapReduce, và ZooKeeper là các thành phần chính của Hadoop.

Quản lý danh sách liên lạc cá nhân thường liên quan đến lượng dữ liệu nhỏ và cấu trúc đơn giản, không thuộc phạm vi ứng dụng của Dữ liệu lớn. Các ứng dụng khác (phân tích khách hàng, dự báo thời tiết, phát hiện gian lận) đều xử lý lượng dữ liệu lớn, phức tạp và cần các công nghệ Big Data.

Giai đoạn 'Map' trong MapReduce chịu trách nhiệm chia dữ liệu đầu vào thành các phần nhỏ độc lập và thực hiện các phép biến đổi ban đầu trên từng phần đó một cách song song. Điều này giúp tăng tốc độ xử lý dữ liệu lớn.

Khi làm việc với dữ liệu lớn, việc xử lý toàn bộ tập dữ liệu cho mọi thử nghiệm hoặc phân tích có thể tốn thời gian và tài nguyên. Lấy mẫu (sampling) cho phép làm việc với một phần nhỏ đại diện của dữ liệu, giúp thử nghiệm nhanh hơn các ý tưởng, thuật toán, hoặc mô hình trước khi áp dụng trên toàn bộ dữ liệu.

Apache Kafka là một nền tảng phân tán cho phép xây dựng các hàng đợi tin nhắn (message queues) mạnh mẽ và có khả năng mở rộng cao. Nó được sử dụng rộng rãi trong các hệ thống Big Data để thu thập và truyền tải dữ liệu dòng giữa các thành phần khác nhau của hệ thống.

Data Wrangling, hay còn gọi là Data Munging, là quá trình biến đổi và ánh xạ dữ liệu từ một định dạng thô sang một định dạng khác phù hợp hơn cho phân tích. Nó bao gồm các công việc như làm sạch dữ liệu (xử lý dữ liệu bị thiếu, lỗi), biến đổi dữ liệu (chuẩn hóa, tổng hợp), và định dạng lại dữ liệu.

Data silos xảy ra khi dữ liệu bị phân tán và cô lập trong các bộ phận hoặc hệ thống riêng biệt của tổ chức, khiến việc truy cập, chia sẻ và tích hợp dữ liệu trở nên khó khăn. Trong Big Data, điều này hạn chế khả năng khai thác toàn bộ giá trị tiềm năng của dữ liệu, vì phân tích dữ liệu tổng thể thường mang lại thông tin sâu sắc hơn.

Data Lake là một kho lưu trữ dữ liệu cho phép chứa dữ liệu ở định dạng thô, không cấu trúc hoặc bán cấu trúc cho đến khi cần thiết. Nó khác với Data Warehouse (Kho dữ liệu) là nơi dữ liệu thường được xử lý và cấu trúc trước khi lưu trữ.

Hadoop là một framework mã nguồn mở được thiết kế để xử lý các tập dữ liệu lớn trên các cluster máy tính. Nó đặc biệt phù hợp với dữ liệu lớn do khả năng mở rộng và xử lý song song.

Apache NiFi là một hệ thống mạnh mẽ để quản lý và tự động hóa luồng dữ liệu, thường được sử dụng để xây dựng các quy trình ETL trong Big Data. Nó cho phép trích xuất dữ liệu từ nhiều nguồn, biến đổi dữ liệu, và tải dữ liệu vào các hệ thống đích.

Chi phí phần cứng và phần mềm cho Big Data có thể vẫn là một thách thức đáng kể, đặc biệt đối với các tổ chức nhỏ hoặc mới bắt đầu. Các thách thức phổ biến khác bao gồm tìm kiếm nhân tài, đảm bảo chất lượng dữ liệu, và quản lý sự đa dạng và phức tạp của dữ liệu.