Đề thi, bài tập trắc nghiệm online Dữ liệu lớn (BigData) – Đề 11

Dữ liệu lớn có tiềm năng cách mạng hóa lĩnh vực y tế bằng cách cung cấp thông tin chi tiết sâu sắc hơn từ dữ liệu bệnh nhân, dữ liệu nghiên cứu, dữ liệu thiết bị y tế, v.v. Điều này giúp cải thiện độ chính xác của chẩn đoán, phát triển các phương pháp điều trị hiệu quả hơn, phát triển thuốc mới, và cá nhân hóa chăm sóc sức khỏe cho từng bệnh nhân.

Cơ sở dữ liệu NoSQL (Not Only SQL) được thiết kế để xử lý dữ liệu lớn phi cấu trúc hoặc bán cấu trúc như văn bản, video, và dữ liệu mạng xã hội, trong khi cơ sở dữ liệu quan hệ (RDBMS) phù hợp hơn với dữ liệu có cấu trúc rõ ràng.

Apache Spark Streaming là một extension của Apache Spark, được thiết kế để xử lý dữ liệu theo thời gian thực từ các nguồn stream. Hadoop MapReduce, Hive và Pig chủ yếu được sử dụng cho xử lý dữ liệu batch (theo lô) chứ không phải real-time.

Velocity (Tốc độ) trong 5Vs của Big Data đề cập đến tốc độ mà dữ liệu được tạo ra và cần được xử lý. Thách thức Velocity liên quan đến việc xử lý và phân tích dòng dữ liệu liên tục và nhanh chóng, thường là trong thời gian thực hoặc gần thời gian thực.

Định giá động (Dynamic Pricing) là một ứng dụng của Dữ liệu lớn cho phép các nhà bán lẻ điều chỉnh giá sản phẩm theo thời gian thực, dựa trên các yếu tố như nhu cầu thị trường, giá đối thủ cạnh tranh, và hành vi mua sắm của khách hàng. Các lựa chọn khác không trực tiếp liên quan đến việc tối ưu hóa giá sản phẩm theo thời gian thực.

Kappa Architecture là một kiến trúc đơn giản hóa so với Lambda Architecture. Điểm khác biệt chính là Kappa loại bỏ lớp xử lý lô (Batch Layer) và chỉ dựa vào lớp xử lý stream (Stream Layer) cho cả dữ liệu thời gian thực và dữ liệu lịch sử. Điều này giúp đơn giản hóa việc phát triển và vận hành hệ thống.

Trực quan hóa dữ liệu (Data Visualization) cực kỳ quan trọng trong phân tích Dữ liệu lớn vì nó giúp biến dữ liệu phức tạp thành các định dạng trực quan như biểu đồ, đồ thị, bản đồ, giúp con người dễ dàng nhận diện các mẫu, xu hướng, và thông tin quan trọng mà khó phát hiện ra chỉ qua bảng số liệu.

Veracity trong 5Vs của Big Data đề cập đến độ tin cậy, độ chính xác và chất lượng của dữ liệu. Nó liên quan đến việc đảm bảo rằng dữ liệu được sử dụng để phân tích và ra quyết định là đáng tin cậy và không chứa nhiều lỗi hoặc sự không chắc chắn.

Data Governance (Quản trị dữ liệu) là một khuôn khổ bao gồm các chính sách, quy trình, tiêu chuẩn và vai trò để quản lý dữ liệu của một tổ chức. Mục tiêu là đảm bảo dữ liệu có chất lượng cao, an toàn, tuân thủ các quy định, và có thể được sử dụng hiệu quả để hỗ trợ các mục tiêu kinh doanh.

Internet of Things (IoT) tạo ra một lượng lớn dữ liệu từ hàng tỷ thiết bị cảm biến kết nối internet. Dữ liệu này có các đặc điểm của Dữ liệu lớn (khối lượng, tốc độ, đa dạng). Dữ liệu lớn đóng vai trò quan trọng trong việc lưu trữ, xử lý, phân tích dữ liệu IoT để trích xuất thông tin hữu ích, hỗ trợ ra quyết định, tự động hóa, và cải thiện hiệu quả hoạt động trong nhiều lĩnh vực (như nhà thông minh, thành phố thông minh, công nghiệp 4.0).

Quản lý kho hàng cho một cửa hàng tạp hóa nhỏ thường không yêu cầu đến quy mô và độ phức tạp của Dữ liệu lớn. Các ứng dụng khác như cá nhân hóa quảng cáo, dự báo thời tiết và phát hiện gian lận thẻ tín dụng đều là những lĩnh vực sử dụng Dữ liệu lớn để phân tích và đưa ra quyết định.

Phát hiện gian lận (Fraud Detection) là một ứng dụng quan trọng của Dữ liệu lớn trong ngành tài chính. Bằng cách phân tích lượng lớn dữ liệu giao dịch, các hệ thống Dữ liệu lớn có thể phát hiện ra các mẫu giao dịch bất thường hoặc đáng ngờ, từ đó giúp ngăn chặn gian lận hiệu quả hơn so với các phương pháp truyền thống.

Hadoop là một framework mã nguồn mở được thiết kế đặc biệt để xử lý và lưu trữ các tập dữ liệu lớn phân tán trên các cụm máy tính. Các lựa chọn khác như Excel, MySQL và Access không được thiết kế để xử lý dữ liệu lớn phân tán.

Data Mining là quá trình khám phá các mẫu, xu hướng, và kiến thức có giá trị ẩn chứa trong các tập dữ liệu lớn. Nó sử dụng các thuật toán và kỹ thuật phân tích để trích xuất thông tin hữu ích từ dữ liệu.

In-memory computing là một phương pháp tăng tốc độ xử lý dữ liệu bằng cách lưu trữ và truy cập dữ liệu trong bộ nhớ RAM (Random Access Memory) thay vì ổ cứng truyền thống. Điều này giúp giảm thiểu thời gian truy cập dữ liệu đáng kể, rất quan trọng trong xử lý Dữ liệu lớn yêu cầu tốc độ cao.

Trong Lambda Architecture, Batch Layer chịu trách nhiệm xử lý toàn bộ tập dữ liệu lịch sử một cách định kỳ (thường là hàng ngày hoặc hàng tuần) để tạo ra các 'batch views'. Các batch views này là kết quả phân tích chính xác và đầy đủ nhất, được sử dụng cho các truy vấn cần độ chính xác cao và không yêu cầu thời gian phản hồi nhanh.

Data Science (Khoa học dữ liệu) là một lĩnh vực liên ngành kết hợp thống kê, khoa học máy tính, và kiến thức chuyên môn để phân tích và giải thích dữ liệu. Mục tiêu của Data Science là trích xuất kiến thức, insights, và giá trị từ dữ liệu, đặc biệt là từ các tập dữ liệu lớn và phức tạp.

Data masking (Che giấu dữ liệu) là một kỹ thuật bảo mật dữ liệu, trong đó dữ liệu nhạy cảm (như thông tin cá nhân, số thẻ tín dụng) được ẩn hoặc thay thế bằng dữ liệu giả mạo, nhưng vẫn giữ nguyên định dạng và một số đặc tính nhất định để dữ liệu vẫn có thể được sử dụng cho mục đích phát triển, thử nghiệm hoặc phân tích mà không lộ thông tin nhạy cảm thực tế.

Schema on Read là một đặc điểm của Data Lake (Hồ dữ liệu). Trong Data Lake, dữ liệu được lưu trữ ở dạng thô, chưa qua xử lý, và lược đồ dữ liệu (cấu trúc) chỉ được áp dụng khi dữ liệu được đọc và sử dụng. Điều này ngược lại với Data Warehouse và cơ sở dữ liệu quan hệ, nơi sử dụng 'Schema on Write' (Lược đồ khi ghi), tức là lược đồ phải được xác định trước khi dữ liệu được ghi vào kho.

Phân tích dự đoán (Predictive Analytics) sử dụng dữ liệu lịch sử, thống kê, và các kỹ thuật mô hình hóa để dự đoán các sự kiện hoặc kết quả có thể xảy ra trong tương lai. Các loại phân tích khác như mô tả, chẩn đoán và quy định có mục tiêu khác nhau.

Data Wrangling (còn gọi là Data Munging) là quá trình làm sạch, biến đổi, và chuẩn bị dữ liệu thô để nó trở nên phù hợp và sẵn sàng cho việc phân tích. Đây là một bước quan trọng và thường tốn nhiều thời gian trong các dự án Dữ liệu lớn vì dữ liệu thực tế thường không hoàn hảo, chứa lỗi, thiếu sót, hoặc không nhất quán.

Data Lake là một kho lưu trữ dữ liệu lớn, tập trung, cho phép lưu trữ dữ liệu ở dạng thô, chưa qua xử lý và ở nhiều định dạng khác nhau (cấu trúc, bán cấu trúc, phi cấu trúc). Dữ liệu được giữ nguyên dạng cho đến khi cần phân tích hoặc sử dụng, khác với Data Warehouse (Kho dữ liệu) nơi dữ liệu đã được xử lý và có cấu trúc.

YARN (Yet Another Resource Negotiator) là thành phần quản lý tài nguyên cluster và lập lịch công việc trong Hadoop 2.0 trở lên. Nó tách biệt chức năng quản lý tài nguyên và xử lý dữ liệu, cho phép sử dụng các engine xử lý dữ liệu khác ngoài MapReduce.

SQL Server Integration Services (SSIS) là một công cụ ETL (Extract, Transform, Load) của Microsoft, thường được sử dụng trong môi trường Microsoft SQL Server, không phải là một phần của hệ sinh thái Hadoop. Spark, Hive và Pig đều là các framework và công cụ quan trọng trong hệ sinh thái Hadoop.

Apache Hive là một hệ thống Data Warehouse xây dựng trên nền tảng Hadoop. Nó cung cấp một giao diện giống SQL (HiveQL) để truy vấn và phân tích dữ liệu lớn được lưu trữ trong HDFS. Kafka, Cassandra và Flink có mục đích sử dụng khác nhau trong hệ sinh thái Dữ liệu lớn (Kafka cho stream processing, Cassandra cho NoSQL database, Flink cho stream processing).

Value (Giá trị) là yếu tố quan trọng cuối cùng trong 5Vs của Big Data. Nó nhấn mạnh rằng mục tiêu cuối cùng của việc thu thập và xử lý Dữ liệu lớn là tạo ra giá trị kinh doanh, cung cấp thông tin hữu ích, cải thiện quyết định, hoặc tạo ra lợi thế cạnh tranh. Nếu dữ liệu không mang lại giá trị, thì việc xử lý nó trở nên vô nghĩa.

5Vs của Big Data thường bao gồm: Volume, Velocity, Variety, Veracity và Value. Volatility (Tính biến động) không phải là một trong 5Vs cốt lõi, mặc dù nó có thể là một khía cạnh liên quan đến dữ liệu lớn.

Variety (Đa dạng) trong 5Vs của Big Data đề cập đến sự đa dạng của các loại và nguồn dữ liệu. Dữ liệu lớn có thể đến từ nhiều nguồn khác nhau và có nhiều định dạng khác nhau, bao gồm dữ liệu có cấu trúc (từ cơ sở dữ liệu), bán cấu trúc (JSON, XML), và phi cấu trúc (văn bản, hình ảnh, video, âm thanh, dữ liệu cảm biến, dữ liệu mạng xã hội, v.v.).

Các thách thức chính của Dữ liệu lớn tập trung vào 3Vs (Volume, Velocity, Variety) và Veracity, Value. Chi phí thuê văn phòng làm việc không phải là một thách thức trực tiếp liên quan đến bản chất của Dữ liệu lớn mà là một chi phí vận hành kinh doanh thông thường.

Điện toán đám mây (Cloud Computing) mang lại nhiều lợi ích cho việc xử lý và lưu trữ Dữ liệu lớn, bao gồm giảm chi phí đầu tư vào phần cứng và cơ sở hạ tầng ban đầu, khả năng mở rộng tài nguyên linh hoạt theo nhu cầu, và dễ dàng truy cập các dịch vụ và công cụ Dữ liệu lớn. Mặc dù điện toán đám mây cải thiện bảo mật và tốc độ, nhưng không phải là tuyệt đối hoặc loại bỏ hoàn toàn nhu cầu về nhân sự IT.