Phân phối các vấn đề cơ bản về máy tính cho dữ liệu lớn - những con vú

Nếu công ty của bạn đang xem xét một dự án dữ liệu lớn, điều quan trọng là bạn hiểu một số vấn đề cơ bản về máy tính Đầu tiên. Không có một mô hình tính toán phân tán duy nhất vì các tài nguyên máy tính có thể được phân phối bằng nhiều cách.

Ví dụ: bạn có thể phân phối một loạt chương trình trên cùng một máy chủ vật lý và sử dụng các dịch vụ nhắn tin để cho phép họ truyền thông và truyền thông tin. Cũng có thể có nhiều hệ thống hoặc máy chủ khác nhau, mỗi bộ có bộ nhớ riêng, có thể cùng nhau giải quyết một vấn đề.

Tại sao phải tính toán phân tán cho dữ liệu lớn

Không phải tất cả các vấn đề đều yêu cầu phải tính toán phân tán. Nếu một hạn chế thời gian lớn không tồn tại, xử lý phức tạp có thể thực hiện qua một dịch vụ chuyên biệt từ xa. Khi các công ty cần phân tích dữ liệu phức tạp, CNTT sẽ chuyển dữ liệu đến một dịch vụ hoặc tổ chức bên ngoài, nơi có rất nhiều nguồn dự trữ sẵn có để chế biến.

Không phải là các công ty muốn chờ đợi để có được kết quả họ cần; việc mua đủ tài nguyên máy tính để xử lý các yêu cầu mới nổi này không khả thi về mặt kinh tế. Trong nhiều trường hợp, các tổ chức sẽ chỉ nắm bắt các dữ liệu được chọn chứ không cố gắng nắm bắt tất cả các dữ liệu vì chi phí. Các nhà phân tích muốn tất cả dữ liệu nhưng phải giải quyết các bức ảnh chụp nhanh, với hy vọng nắm bắt đúng dữ liệu vào đúng thời điểm.

Các đột phá về phần cứng và phần mềm then chốt đã cách mạng hóa ngành công nghiệp quản lý dữ liệu. Thứ nhất, sự đổi mới và nhu cầu làm tăng sức mạnh và giảm giá thành phần cứng. Phần mềm mới nổi lên đã hiểu làm thế nào để tận dụng phần cứng này bằng cách tự động hoá các quy trình như cân bằng tải và tối ưu hóa trên một nhóm các nút lớn.

Phần mềm bao gồm các quy tắc được xây dựng mà hiểu rằng khối lượng công việc nhất định yêu cầu một mức hiệu suất nhất định. Phần mềm xử lý tất cả các nút như thể chúng chỉ đơn giản là một khối lượng lớn các máy tính, lưu trữ, và các tài sản mạng, và chuyển các tiến trình tới một nút khác mà không bị gián đoạn nếu một nút thất bại, sử dụng công nghệ ảo hóa.

Sự thay đổi kinh tế của máy tính và dữ liệu lớn

Chuyển tiếp nhanh và rất nhiều thay đổi. Trong vài năm qua, chi phí để mua máy tính và các tài nguyên lưu trữ đã giảm đáng kể. Được hỗ trợ bởi ảo hóa, các máy chủ hàng hóa có thể được nhóm và các lưỡi dao có thể được nối mạng trong một rack đã thay đổi tính kinh tế của máy tính. Sự thay đổi này trùng hợp với sự đổi mới trong các giải pháp tự động hóa phần mềm đã làm cải thiện đáng kể khả năng quản lý của các hệ thống này.

Khả năng tận dụng các tính toán phân tán và các kỹ thuật xử lý song song đã biến đổi cảnh quan và làm giảm đáng kể độ trễ. Có những trường hợp đặc biệt, chẳng hạn như Thương mại Tần số Cao cấp (HFT), trong đó chỉ có thể đạt được độ trễ thấp bởi các máy chủ xác định vị trí thực tại một địa điểm.

Vấn đề với độ trễ cho dữ liệu lớn

Một trong những vấn đề lâu năm về quản lý dữ liệu - đặc biệt là số lượng lớn dữ liệu - đã ảnh hưởng đến độ trễ. Độ trễ là độ trễ trong một hệ thống dựa trên sự chậm trễ trong việc thực hiện một nhiệm vụ. Độ trễ là một vấn đề trong mọi khía cạnh của máy tính, bao gồm truyền thông, quản lý dữ liệu, hiệu năng hệ thống và hơn thế nữa.

Nếu bạn đã từng sử dụng điện thoại không dây, bạn đã có kinh nghiệm về độ trễ trước mắt. Đó là sự chậm trễ trong việc truyền giữa bạn và người gọi của bạn. Đôi khi độ trễ có ít ảnh hưởng đến sự hài lòng của khách hàng, chẳng hạn như nếu các công ty cần phải phân tích hậu quả đằng sau hậu trường để lên kế hoạch phát hành sản phẩm mới. Điều này có thể không yêu cầu phản hồi tức thời hoặc truy cập.

Tuy nhiên, phản ứng càng gần gũi với khách hàng vào thời điểm quyết định càng nhiều thời gian trễ càng nhiều.

Các tính toán phân tán và các kỹ thuật xử lý song song có thể tạo ra sự khác biệt đáng kể về độ trễ kinh nghiệm của khách hàng, nhà cung cấp và đối tác. Nhiều ứng dụng dữ liệu lớn phụ thuộc vào độ trễ thấp do yêu cầu dữ liệu lớn về tốc độ và khối lượng và sự đa dạng của dữ liệu.

Có thể không thể xây dựng một ứng dụng dữ liệu lớn trong một môi trường độ trễ cao nếu cần hiệu suất cao. Nhu cầu xác minh dữ liệu trong thời gian gần thời gian thực cũng có thể bị ảnh hưởng bởi độ trễ. Khi bạn đang xử lý dữ liệu thời gian thực, độ trễ cao nghĩa là sự khác biệt giữa thành công và thất bại.

Nhu cầu dữ liệu lớn đáp ứng các giải pháp

Sự phát triển của Internet như một nền tảng cho mọi thứ từ thương mại đến thuốc đã biến đổi nhu cầu về một thế hệ quản lý dữ liệu mới. Vào cuối những năm 1990, các công ty về động cơ và Internet như Google, Yahoo!, và Amazon. com đã có thể mở rộng mô hình kinh doanh của họ, tận dụng phần cứng không tốn kém cho máy tính và lưu trữ.

Tiếp theo, các công ty này cần một thế hệ công nghệ phần mềm mới, cho phép họ kiếm tiền từ những lượng lớn dữ liệu họ thu được từ khách hàng. Các công ty này không thể chờ kết quả xử lý phân tích. Họ cần khả năng xử lý và phân tích dữ liệu này trong thời gian thực gần.