Đề thi, bài tập trắc nghiệm online Dữ liệu lớn (BigData) – Đề 1

Edge Computing là mô hình điện toán phân tán, đưa quá trình xử lý dữ liệu đến gần nguồn phát sinh dữ liệu (ví dụ: thiết bị IoT, cảm biến). Điều này giúp giảm độ trễ truyền dữ liệu về trung tâm, tiết kiệm băng thông mạng và tăng cường tính riêng tư do dữ liệu được xử lý cục bộ. Nó đặc biệt hữu ích cho các ứng dụng thời gian thực và IoT.

Dữ liệu lớn được ứng dụng rộng rãi trong nhiều lĩnh vực như thương mại điện tử (cá nhân hóa), dự báo thời tiết, tài chính (phân tích rủi ro tín dụng). Quản lý kho hàng thủ công bằng sổ sách là một phương pháp truyền thống, không tận dụng sức mạnh của Dữ liệu lớn.

Amazon S3, Google Cloud Storage và Microsoft Azure Blob Storage là các dịch vụ lưu trữ đám mây phổ biến và mạnh mẽ, được sử dụng rộng rãi để lưu trữ Dữ liệu lớn. Microsoft Paint là một phần mềm đồ họa đơn giản, không liên quan đến lưu trữ đám mây.

Apache Spark Streaming là một framework được thiết kế đặc biệt để xử lý luồng dữ liệu thời gian thực. Nó cho phép xử lý dữ liệu liên tục đến từ nhiều nguồn khác nhau và cung cấp kết quả gần như tức thì. Hadoop MapReduce và Hive phù hợp hơn cho xử lý batch dữ liệu tĩnh, còn SQL là ngôn ngữ truy vấn dữ liệu quan hệ.

Data Masking là kỹ thuật làm ẩn hoặc thay thế dữ liệu nhạy cảm (như thông tin cá nhân) bằng dữ liệu giả mạo nhưng vẫn giữ được định dạng và tính nhất quán, nhằm bảo vệ quyền riêng tư và tuân thủ các quy định bảo mật khi sử dụng dữ liệu cho mục đích phân tích, thử nghiệm hoặc chia sẻ.

Data Aggregation là quá trình thu thập và kết hợp dữ liệu từ nhiều nguồn khác nhau (ví dụ: từ các cơ sở dữ liệu, file log, cảm biến...) thành một tập dữ liệu duy nhất và thống nhất. Mục tiêu là tạo ra một cái nhìn toàn diện về dữ liệu để phân tích và khai thác thông tin.

Khi làm việc với Data Lake và 'Schema-on-Read', quy trình ETL thường được thay thế bằng ELT (Extract, Load, Transform). Dữ liệu được 'Load' (tải) vào Data Lake trước ở định dạng thô, sau đó mới 'Transform' (biến đổi) khi cần thiết để phân tích hoặc sử dụng. Điều này tận dụng tính linh hoạt của Data Lake.

Data Virtualization là kỹ thuật tạo ra một lớp trừu tượng hóa dữ liệu, cho phép người dùng truy cập, kết hợp và thao tác dữ liệu từ nhiều nguồn khác nhau (cơ sở dữ liệu, Data Lake, cloud...) như thể chúng nằm ở một nơi duy nhất, mà không cần di chuyển hay sao chép dữ liệu vật lý. Lợi ích chính là giảm độ phức tạp, thời gian truy cập và chi phí quản lý dữ liệu, đồng thời tăng tính linh hoạt.

Data Silos là tình trạng dữ liệu bị phân mảnh và cô lập trong các phòng ban, hệ thống hoặc ứng dụng khác nhau trong một tổ chức. Điều này gây ra khó khăn trong việc tích hợp, chia sẻ và có được cái nhìn toàn diện về dữ liệu, hạn chế khả năng khai thác giá trị và phân tích dữ liệu lớn hiệu quả.

5Vs của Dữ liệu lớn thường bao gồm Volume, Velocity, Variety, Veracity và Value. 'Tính xác thực' (Veracity) là một V quan trọng, trong khi 'Vận tốc' (Velocity), 'Khối lượng' (Volume), và 'Đa dạng' (Variety) là các V khác trong mô hình 5Vs.

In-Memory Computing là một phương pháp tính toán dữ liệu lớn bằng cách lưu trữ và xử lý dữ liệu trực tiếp trong bộ nhớ RAM (Random Access Memory) thay vì ổ cứng. Điều này giúp tăng tốc độ truy cập và xử lý dữ liệu đáng kể, vì RAM nhanh hơn ổ cứng nhiều lần. Lợi ích chính là cải thiện hiệu suất và giảm thời gian phản hồi trong các ứng dụng phân tích thời gian thực.

Apache Hive là một hệ thống kho dữ liệu được xây dựng trên Hadoop, cho phép truy vấn và phân tích dữ liệu lớn trong Data Lake bằng ngôn ngữ SQL-like (HiveQL). Nó cung cấp một giao diện quen thuộc cho người dùng SQL để làm việc với dữ liệu Hadoop. Excel và Word không phù hợp cho việc này, còn MySQL là cơ sở dữ liệu quan hệ truyền thống.

Lambda Architecture là một mô hình kiến trúc Dữ liệu lớn kết hợp xử lý batch và xử lý stream. 'Speed Layer' (lớp tốc độ) được thiết kế để xử lý dữ liệu thời gian thực và cung cấp kết quả nhanh chóng (latency thấp), thường sử dụng các công nghệ như stream processing.

Data Governance là một khung quản lý toàn diện bao gồm các chính sách, quy trình, vai trò và tiêu chuẩn để quản lý dữ liệu của tổ chức một cách hiệu quả và an toàn. Nó bao trùm mọi khía cạnh của vòng đời dữ liệu, đảm bảo dữ liệu có chất lượng, tuân thủ quy định và được sử dụng một cách có trách nhiệm.

Scalability là khả năng của một hệ thống (phần cứng hoặc phần mềm) có thể đối phó với sự tăng trưởng về khối lượng dữ liệu, số lượng người dùng hoặc nhu cầu xử lý. Trong Dữ liệu lớn, scalability là yếu tố quan trọng để đảm bảo hệ thống có thể xử lý dữ liệu ngày càng lớn và phức tạp.

Data Warehouse được thiết kế để lưu trữ dữ liệu đã được làm sạch và cấu trúc, phục vụ cho mục đích phân tích dữ liệu lịch sử, tạo báo cáo kinh doanh và hỗ trợ ra quyết định chiến lược. Nó không phù hợp cho việc lưu trữ dữ liệu thô hoặc xử lý dữ liệu thời gian thực.

Java là ngôn ngữ lập trình ban đầu và vẫn được sử dụng rộng rãi trong hệ sinh thái Hadoop. Mặc dù Python và các ngôn ngữ khác cũng được sử dụng, Java vẫn là nền tảng chính và có nhiều thư viện, công cụ hỗ trợ mạnh mẽ cho Hadoop.

Thách thức 'Variety' trong Dữ liệu lớn đề cập đến sự đa dạng về kiểu dữ liệu (có cấu trúc, bán cấu trúc, phi cấu trúc), định dạng (văn bản, hình ảnh, video) và nguồn gốc (mạng xã hội, cảm biến, giao dịch...). Việc xử lý và tích hợp dữ liệu từ nhiều nguồn và định dạng khác nhau là một thách thức lớn.

Predictive Analytics sử dụng các kỹ thuật thống kê, mô hình hóa và máy học để phân tích dữ liệu lịch sử và hiện tại, từ đó dự đoán các sự kiện hoặc kết quả có thể xảy ra trong tương lai. Các loại phân tích khác như Descriptive (mô tả quá khứ), Diagnostic (hiểu nguyên nhân), và Prescriptive (đề xuất hành động) có mục tiêu khác nhau.

Data Wrangling (hay Data Munging) là quá trình làm sạch, chuyển đổi, biến đổi và chuẩn bị dữ liệu thô để sẵn sàng cho phân tích. Đây là một bước quan trọng trong quy trình Dữ liệu lớn, chiếm phần lớn thời gian và công sức, nhằm đảm bảo dữ liệu chất lượng và phù hợp cho các bước phân tích tiếp theo.

'Veracity' đề cập đến độ tin cậy, độ chính xác và chất lượng của dữ liệu. Trong Dữ liệu lớn, dữ liệu có thể đến từ nhiều nguồn khác nhau và có thể chứa lỗi, nhiễu hoặc không nhất quán. Đảm bảo tính xác thực của dữ liệu là rất quan trọng để đưa ra các quyết định chính xác dựa trên phân tích dữ liệu.

Data Lake lưu trữ dữ liệu ở dạng thô, chưa qua xử lý và ở định dạng gốc, cho phép linh hoạt trong việc khám phá và phân tích dữ liệu sau này. Data Warehouse, ngược lại, lưu trữ dữ liệu đã được làm sạch, chuyển đổi và có cấu trúc rõ ràng, thường phục vụ cho mục đích báo cáo và phân tích kinh doanh truyền thống.

Machine Learning là một lĩnh vực quan trọng trong giai đoạn phân tích và khai phá dữ liệu lớn. Các thuật toán học máy được sử dụng để tìm kiếm mẫu, xây dựng mô hình dự đoán và tự động hóa quá trình phân tích dữ liệu, giúp trích xuất thông tin giá trị từ khối lượng dữ liệu khổng lồ.

Tableau, Power BI và Qlik Sense là các nền tảng BI (Business Intelligence) mạnh mẽ được sử dụng rộng rãi để phân tích và trực quan hóa dữ liệu lớn. Microsoft Word là một phần mềm xử lý văn bản, không có chức năng phân tích và trực quan hóa dữ liệu.

Hadoop là một framework mã nguồn mở được thiết kế để lưu trữ và xử lý các tập dữ liệu lớn một cách phân tán trên các cụm máy tính. Các lựa chọn khác như Excel, MySQL và Oracle Database phù hợp hơn cho dữ liệu có cấu trúc và quy mô nhỏ hơn.

Data Mining là quá trình khám phá các mẫu, xu hướng, và thông tin hữu ích ẩn sâu trong các tập dữ liệu lớn. Mục tiêu chính là tìm ra kiến thức mới và có giá trị từ dữ liệu, hỗ trợ quyết định và dự đoán.

Data Sampling là kỹ thuật chọn một tập con đại diện (mẫu) từ một tập dữ liệu lớn hơn để phân tích. Điều này giúp giảm thời gian xử lý và tính toán khi làm việc với Dữ liệu lớn, đặc biệt là trong giai đoạn khám phá và thử nghiệm mô hình. Mặc dù có thể giảm độ chính xác so với việc sử dụng toàn bộ dữ liệu, nhưng nó thường đủ tốt cho nhiều mục đích phân tích.

Dữ liệu phi cấu trúc là dữ liệu không có cấu trúc định sẵn, khó phân tích và lưu trữ theo cách truyền thống. Văn bản, hình ảnh và video là các ví dụ điển hình. Dữ liệu từ cơ sở dữ liệu quan hệ, ngược lại, là dữ liệu có cấu trúc rõ ràng (hàng, cột, bảng) và dễ dàng truy vấn, phân tích.

'Schema-on-Read' là một đặc điểm của Data Lake, nơi lược đồ dữ liệu không được xác định trước khi dữ liệu được lưu trữ. Thay vào đó, lược đồ được áp dụng khi dữ liệu được đọc và phân tích, mang lại sự linh hoạt cao trong việc xử lý các loại dữ liệu đa dạng và chưa biết trước cấu trúc.

NoSQL databases (Not Only SQL) là các hệ quản trị cơ sở dữ liệu không quan hệ, được thiết kế để xử lý các loại dữ liệu đa dạng (có cấu trúc, bán cấu trúc, phi cấu trúc) và có khả năng mở rộng tốt hơn so với cơ sở dữ liệu quan hệ truyền thống. Chúng linh hoạt hơn về lược đồ và phù hợp với các ứng dụng Dữ liệu lớn.