Đề thi, bài tập trắc nghiệm online Dữ liệu lớn (BigData) – Đề 8

Tableau và Power BI là các công cụ Business Intelligence (BI) mạnh mẽ, được sử dụng rộng rãi để trực quan hóa dữ liệu và tạo ra các dashboard, báo cáo tương tác. Chúng cho phép người dùng khám phá dữ liệu một cách trực quan, dễ dàng tạo ra các biểu đồ, đồ thị, và chia sẻ thông tin một cách hiệu quả. PowerPoint, Word và Notepad không phải là công cụ trực quan hóa dữ liệu chuyên dụng.

Stream processing được thiết kế để xử lý dữ liệu liên tục khi nó được tạo ra (ví dụ: dữ liệu từ cảm biến, nhật ký web, giao dịch trực tuyến). Batch processing xử lý dữ liệu theo lô lớn, thường là dữ liệu đã được thu thập và lưu trữ trong một khoảng thời gian nhất định (ví dụ: xử lý dữ liệu bán hàng cuối ngày). Stream processing phù hợp với các ứng dụng yêu cầu phản hồi nhanh và phân tích theo thời gian thực.

Lambda Architecture là một kiến trúc phổ biến cho việc xử lý dữ liệu lớn kết hợp cả xử lý theo lô (Batch Layer) và xử lý luồng (Speed Layer). Speed Layer được thiết kế để xử lý dữ liệu mới nhất theo thời gian thực, cung cấp kết quả nhanh chóng (ví dụ: phân tích dữ liệu luồng, phát hiện gian lận theo thời gian thực). Batch Layer xử lý dữ liệu lịch sử theo lô để cung cấp kết quả chính xác hơn nhưng chậm hơn.

Data Cleansing là quá trình quan trọng để đảm bảo chất lượng dữ liệu. Nó bao gồm việc phát hiện và xử lý các vấn đề như dữ liệu bị thiếu, dữ liệu trùng lặp, dữ liệu không chính xác, hoặc dữ liệu không nhất quán. Dữ liệu sạch và chất lượng cao là nền tảng để phân tích chính xác và đưa ra quyết định đúng đắn.

Data Lake là kho lưu trữ dữ liệu thô, đa dạng định dạng, sẵn sàng cho nhiều mục đích sử dụng khác nhau, bao gồm cả phân tích khám phá. Data Warehouse lưu trữ dữ liệu đã được làm sạch, chuyển đổi và cấu trúc hóa cho mục đích báo cáo và phân tích kinh doanh cụ thể.

Cơ sở dữ liệu NoSQL (Not only SQL) được thiết kế để xử lý các loại dữ liệu đa dạng, bao gồm dữ liệu phi cấu trúc và bán cấu trúc, và có khả năng mở rộng tốt theo chiều ngang (horizontally scalable) để đáp ứng nhu cầu lưu trữ và truy cập dữ liệu lớn. RDBMS truyền thống phù hợp hơn với dữ liệu cấu trúc và thường khó mở rộng cho Big Data.

MapReduce là mô hình lập trình phân tán cho phép xử lý song song lượng lớn dữ liệu. Nó chia nhỏ bài toán thành hai giai đoạn: 'Map' (ánh xạ) để xử lý dữ liệu đầu vào thành các cặp key-value, và 'Reduce' (thu gọn) để tổng hợp kết quả từ các cặp key-value đó. Việc thực hiện song song trên nhiều máy giúp tăng tốc độ xử lý đáng kể.

Metadata là 'dữ liệu về dữ liệu'. Nó cung cấp thông tin mô tả về dữ liệu chính, giúp người dùng hiểu rõ hơn về dữ liệu, quản lý dữ liệu hiệu quả hơn, tìm kiếm dữ liệu dễ dàng hơn, và đảm bảo chất lượng và tính toàn vẹn của dữ liệu. Ví dụ về metadata bao gồm tên tệp, kích thước tệp, loại dữ liệu, nguồn gốc dữ liệu, tác giả dữ liệu, thời gian tạo dữ liệu, v.v.

Data Scientist là chuyên gia có kỹ năng về thống kê, toán học, lập trình, và kiến thức về lĩnh vực ứng dụng. Họ chịu trách nhiệm phân tích dữ liệu lớn, xây dựng mô hình dự đoán, khám phá ra các insight (tri thức) có giá trị, và giúp tổ chức đưa ra quyết định dựa trên dữ liệu.

In-memory computing tận dụng tốc độ truy cập nhanh của bộ nhớ RAM để xử lý dữ liệu. Thay vì đọc/ghi dữ liệu từ ổ cứng (vốn chậm hơn nhiều), dữ liệu được lưu trữ và xử lý trực tiếp trong RAM, giúp giảm đáng kể thời gian truy cập và tăng tốc độ xử lý các tác vụ phân tích dữ liệu lớn.

Trong lĩnh vực tài chính ngân hàng, Dữ liệu lớn được sử dụng rộng rãi để phân tích giao dịch, hành vi khách hàng, và các nguồn dữ liệu khác để phát hiện các giao dịch gian lận, đánh giá rủi ro tín dụng (cho vay), cá nhân hóa dịch vụ khách hàng, và tối ưu hóa hoạt động kinh doanh. Các ứng dụng còn lại không thuộc lĩnh vực tài chính ngân hàng.

Dữ liệu lớn thường liên quan đến việc xử lý và phân tích lượng dữ liệu khổng lồ để tìm ra thông tin giá trị. Quản lý danh bạ điện thoại cá nhân thường không liên quan đến khối lượng dữ liệu lớn hoặc các kỹ thuật phân tích phức tạp như các ứng dụng còn lại.

Dữ liệu phi cấu trúc không có định dạng xác định trước và thường khó xử lý bằng các phương pháp truyền thống. Dữ liệu nhật ký hệ thống, văn bản, hình ảnh, video là ví dụ điển hình. Dữ liệu từ cơ sở dữ liệu SQL, giao dịch ngân hàng và cảm biến IoT (nếu có định dạng cố định) thường là dữ liệu cấu trúc hoặc bán cấu trúc.

5Vs của Big Data thường bao gồm Volume, Velocity, Variety, Veracity và Value. Volatility (Tính biến động) không phải là một trong 5Vs gốc, mặc dù đôi khi được thêm vào như một V bổ sung.

Tầng Ingestion trong kiến trúc Big Data tập trung vào việc thu thập dữ liệu từ nhiều nguồn khác nhau (ví dụ: cảm biến, nhật ký hệ thống, mạng xã hội, cơ sở dữ liệu...). Đây là bước đầu tiên và quan trọng để đưa dữ liệu vào hệ thống Big Data để xử lý và phân tích.

Skills gap là một thách thức lớn trong lĩnh vực Big Data. Nhu cầu về nhân lực có kỹ năng chuyên môn về Big Data (ví dụ: phân tích dữ liệu, kỹ thuật dữ liệu, khoa học dữ liệu) đang tăng nhanh, nhưng nguồn cung nhân lực có đủ kỹ năng này vẫn còn hạn chế, tạo ra khoảng cách giữa nhu cầu và nguồn cung.

Các thuật toán Machine Learning và AI được sử dụng trong phân tích Big Data có thể học hỏi và khuếch đại các thiên kiến (biases) có trong dữ liệu huấn luyện. Nếu dữ liệu huấn luyện phản ánh sự bất bình đẳng hoặc thành kiến xã hội, thuật toán có thể tạo ra kết quả thiên vị hoặc phân biệt đối xử, gây ra những hậu quả tiêu cực.

Hadoop ecosystem bao gồm nhiều thành phần khác nhau, trong đó HDFS (hệ thống tệp phân tán), MapReduce (mô hình lập trình xử lý song song), và các công cụ như Hive, Pig, HBase, Spark... thường được sử dụng cùng nhau để xây dựng các giải pháp Big Data. MySQL là một hệ quản trị cơ sở dữ liệu quan hệ (RDBMS) truyền thống, không phải là một thành phần cốt lõi của Hadoop ecosystem, mặc dù có thể tích hợp với Hadoop trong một số trường hợp.

Khai phá dữ liệu là quá trình sử dụng các kỹ thuật phân tích dữ liệu để khám phá ra các mẫu, xu hướng, và tri thức có giá trị tiềm ẩn trong các tập dữ liệu lớn. Nó tập trung vào việc tìm kiếm thông tin hữu ích chứ không chỉ đơn thuần là thu thập, làm sạch hay lưu trữ dữ liệu.

Dữ liệu lớn trong y tế giúp phân tích lượng lớn dữ liệu bệnh nhân, kết quả xét nghiệm, nghiên cứu lâm sàng... để phát hiện sớm bệnh, cá nhân hóa phương pháp điều trị, và cải thiện hiệu quả chăm sóc sức khỏe tổng thể, từ đó nâng cao chất lượng chẩn đoán và điều trị.

Scalability là khả năng hệ thống có thể mở rộng tài nguyên (ví dụ: thêm máy chủ, tăng dung lượng lưu trữ, tăng băng thông mạng...) để đáp ứng sự tăng trưởng về khối lượng dữ liệu, số lượng người dùng, hoặc độ phức tạp của công việc mà vẫn duy trì hiệu suất và độ tin cậy chấp nhận được. Đây là một yêu cầu quan trọng đối với các hệ thống Big Data.

Dữ liệu lớn trong marketing giúp phân tích hành vi, sở thích, và dữ liệu nhân khẩu học của khách hàng để hiểu rõ hơn về họ. Từ đó, doanh nghiệp có thể cá nhân hóa thông điệp, sản phẩm, dịch vụ, và tối ưu hóa các chiến dịch quảng cáo để tăng hiệu quả tiếp cận và tương tác với khách hàng.

Dữ liệu bán cấu trúc không tuân theo cấu trúc cố định như dữ liệu quan hệ, nhưng nó có các dấu hiệu hoặc thẻ để phân tách các phần tử và mô tả cấu trúc. JSON và XML là các định dạng phổ biến cho dữ liệu bán cấu trúc, có cấu trúc dạng cây hoặc đồ thị nhưng không cứng nhắc như bảng biểu. Dữ liệu quan hệ là cấu trúc, hình ảnh và âm thanh là phi cấu trúc.

Việc thu thập và phân tích lượng lớn dữ liệu cá nhân đặt ra nhiều lo ngại về quyền riêng tư. Dữ liệu lớn có thể được sử dụng để theo dõi, phân tích hành vi cá nhân, và thậm chí có thể dẫn đến phân biệt đối xử nếu không được quản lý và sử dụng một cách có trách nhiệm. Đây là một trong những thách thức đạo đức quan trọng nhất của Big Data.

Data Governance là tập hợp các quy tắc, chính sách, quy trình và tiêu chuẩn để đảm bảo dữ liệu được quản lý một cách hiệu quả, an toàn, và tuân thủ các quy định. Nó tập trung vào chất lượng, tính toàn vẹn, bảo mật, và khả năng sử dụng của dữ liệu, đảm bảo dữ liệu là một tài sản giá trị và đáng tin cậy.

Hive và Pig là các công cụ được xây dựng trên Hadoop để giúp người dùng truy vấn và phân tích dữ liệu lớn một cách hiệu quả. Hive cung cấp giao diện giống SQL, còn Pig sử dụng ngôn ngữ lập trình dữ liệu cấp cao hơn. Word, Photoshop và Chrome không liên quan đến phân tích dữ liệu Hadoop.

ETL là quy trình cơ bản trong quản lý dữ liệu, đặc biệt quan trọng trong Big Data. Nó bao gồm ba bước: Extract (trích xuất dữ liệu từ nguồn), Transform (biến đổi dữ liệu, làm sạch, chuẩn hóa...) và Load (tải dữ liệu đã biến đổi vào kho lưu trữ như Data Warehouse hoặc Data Lake) để chuẩn bị cho phân tích.

Cloud Computing cung cấp hạ tầng linh hoạt, có khả năng mở rộng hoặc thu hẹp tài nguyên (tính toán, lưu trữ) theo nhu cầu một cách dễ dàng và nhanh chóng. Mô hình thanh toán theo mức sử dụng giúp tiết kiệm chi phí đầu tư ban đầu và chi phí vận hành cho các dự án Big Data. Tuy cloud có nhiều ưu điểm bảo mật, nhưng không phải 'tuyệt đối'. Và cloud phụ thuộc vào kết nối internet ổn định.

Veracity đề cập đến độ tin cậy và chất lượng của dữ liệu. Trong bối cảnh Big Data, dữ liệu có thể đến từ nhiều nguồn khác nhau, có thể chứa lỗi, độ nhiễu hoặc không nhất quán. Veracity nhấn mạnh tầm quan trọng của việc đảm bảo dữ liệu đủ tin cậy để đưa ra quyết định chính xác.

Hadoop và Spark là các framework mã nguồn mở được thiết kế đặc biệt để xử lý và phân tích lượng lớn dữ liệu phân tán. Excel và MySQL không được thiết kế cho khối lượng dữ liệu lớn và phân tán. Phần mềm diệt virus không liên quan đến xử lý dữ liệu.