Hiệu suất và dữ liệu lớn - núm vú

Chỉ cần có một máy tính nhanh hơn là không đủ để đảm bảo mức độ hiệu suất đúng để xử lý dữ liệu lớn. Bạn cần để có thể phân phối các thành phần của dịch vụ dữ liệu lớn của bạn qua một loạt các nút. Trong máy tính phân tán, một nút là một phần tử nằm trong một nhóm các hệ thống hoặc trong một giá đỡ.

Một nút bao gồm CPU, bộ nhớ và một số loại đĩa. Tuy nhiên, một node cũng có thể là một CPU blade và bộ nhớ dựa vào kho lưu trữ gần đó trong một rack.

Trong một môi trường dữ liệu lớn, các nút này thường được nhóm lại với nhau để cung cấp quy mô. Ví dụ: bạn có thể bắt đầu với một phân tích dữ liệu lớn và tiếp tục thêm nhiều nguồn dữ liệu. Để thích ứng với sự tăng trưởng, một tổ chức đơn giản chỉ cần thêm nhiều nút vào một cụm để nó có thể mở rộng ra để đáp ứng yêu cầu ngày càng tăng.

Tuy nhiên, không chỉ đơn giản là mở rộng số nút trong cluster. Thay vào đó, điều quan trọng là có thể gửi một phần của phân tích dữ liệu lớn đến các môi trường vật lý khác nhau. Nơi bạn gửi các tác vụ này và cách bạn quản lý chúng làm cho sự khác biệt giữa thành công và thất bại.

Trong một số tình huống phức tạp, bạn có thể muốn thực hiện nhiều thuật toán khác nhau song song, thậm chí trong cùng một cluster, để đạt được tốc độ phân tích yêu cầu. Tại sao bạn thực hiện các thuật toán dữ liệu khác nhau song song trong cùng một rack? Càng gần nhau các bản phân phối các chức năng càng nhanh thì chúng càng có thể thực hiện.

Mặc dù có thể phân phối các phân tích dữ liệu lớn qua các mạng để tận dụng dung lượng có sẵn, bạn phải phân loại theo yêu cầu về hiệu năng. Trong một số trường hợp, tốc độ xử lý mất một ghế sau. Tuy nhiên, trong các tình huống khác, nhận được kết quả nhanh là yêu cầu. Trong tình huống này, bạn muốn đảm bảo rằng các chức năng mạng đang ở gần nhau.

Nói chung, môi trường dữ liệu lớn phải được tối ưu hóa cho nhiệm vụ phân tích loại. Vì vậy, khả năng mở rộng là lynchpin của làm cho dữ liệu lớn hoạt động thành công. Mặc dù về mặt lý thuyết có thể vận hành một môi trường dữ liệu lớn trong một môi trường rộng lớn nhưng nó không thực tế.

Để hiểu được nhu cầu về khả năng mở rộng của dữ liệu lớn, người ta chỉ phải nhìn vào khả năng mở rộng của đám mây và hiểu cả yêu cầu và cách tiếp cận. Giống như điện toán đám mây, dữ liệu lớn đòi hỏi sự bao gồm các mạng nhanh và các nhóm phần cứng không đắt tiền có thể được kết hợp trong các kệ để tăng hiệu suất. Các cụm được hỗ trợ bởi phần mềm tự động hóa cho phép cân bằng tải và cân bằng tải năng động.

Thiết kế và triển khai của MapReduce là những ví dụ tuyệt vời về cách tính toán phân tán có thể làm cho dữ liệu lớn hoạt động có thể nhìn thấy được và giá cả phải chăng. Về bản chất, các công ty đang ở một trong những điểm ngoặt độc đáo trong tính toán, nơi các khái niệm công nghệ đến với nhau vào đúng thời điểm để giải quyết các vấn đề đúng. Kết hợp tính toán phân tán, cải tiến hệ thống phần cứng và các giải pháp thực tiễn như MapReduce và Hadoop đang thay đổi cách quản lý dữ liệu một cách sâu sắc.