Lớp 0 của ngăn xếp dữ liệu lớn: cơ sở hạ tầng vật lý dự phòng - núm vú

Ở mức thấp nhất của chồng dữ liệu lớn là cơ sở hạ tầng vật chất. Công ty của bạn có thể đã có một trung tâm dữ liệu hoặc đầu tư vào các cơ sở hạ tầng vật lý, vì vậy bạn sẽ muốn tìm một cách để sử dụng các tài sản hiện có.

Việc triển khai dữ liệu lớn đòi hỏi rất cụ thể về tất cả các yếu tố trong kiến ​​trúc tham chiếu, vì vậy bạn cần phải kiểm tra các yêu cầu này trên cơ sở từng lớp một để đảm bảo rằng việc triển khai của bạn sẽ thực hiện và quy mô theo nhu cầu của doanh nghiệp.

Bạn cần có hệ thống như thế nào để phản ứng nhanh? Hiệu suất, còn được gọi là

• độ trễ, thường được tính đến cuối để kết thúc, dựa trên một yêu cầu giao dịch hoặc yêu cầu truy vấn. Tính khả dụng: Bạn có cần bảo đảm 100% thời gian hoạt động của dịch vụ không? Doanh nghiệp của bạn chờ đợi trong trường hợp gián đoạn dịch vụ hoặc thất bại trong bao lâu?

• Khả năng mở rộng:
  Cơ sở hạ tầng của bạn cần bao nhiêu? Có bao nhiêu không gian đĩa ngày nay và trong tương lai? Bạn cần có bao nhiêu sức mạnh tính toán? Thông thường, bạn cần phải quyết định những gì bạn cần và sau đó thêm một ít quy mô hơn cho những thách thức bất ngờ.

• Tính linh hoạt: Bạn có thể thêm nhiều nguồn lực vào cơ sở hạ tầng nhanh như thế nào? Cơ sở hạ tầng của bạn sẽ phục hồi nhanh như thế nào sau những thất bại?

• Chi phí:
  Bạn có thể mua được gì? Bởi vì cơ sở hạ tầng là một bộ các thành phần, bạn có thể mua được mạng "tốt nhất" và quyết định tiết kiệm tiền vào bộ nhớ. Bạn cần phải thiết lập các yêu cầu cho từng lĩnh vực này trong bối cảnh ngân sách tổng thể và sau đó thực hiện các sự cân bằng nếu cần thiết.

• Vì dữ liệu lớn là về tốc độ cao, khối lượng lớn và nhiều dữ liệu khác nhau, cơ sở hạ tầng vật lý sẽ thực sự "tạo ra hoặc phá vỡ" việc thực hiện. Hầu hết các triển khai dữ liệu lớn đều cần có tính sẵn sàng cao, do đó các mạng, máy chủ và bộ nhớ vật lý phải vừa mềm dẻ và vừa dư thừa. Khả năng phục hồi và dự phòng tương quan với nhau. Một cơ sở hạ tầng, hoặc một hệ thống, có khả năng chống lại sự thất bại hoặc thay đổi khi nguồn lực dự phòng đầy đủ đã sẵn sàng, sẵn sàng để bước vào hành động. Tính dự phòng đảm bảo rằng sự cố như vậy sẽ không gây mất điện. Khả năng phục hồi giúp loại bỏ những điểm thất bại duy nhất trong cơ sở hạ tầng của bạn.

Trong các trung tâm dữ liệu lớn với yêu cầu liên tục về nghiệp vụ, hầu hết sự thừa đều có sẵn và có thể được tận dụng để tạo ra một môi trường dữ liệu lớn.Trong việc triển khai mới, các nhà thiết kế có trách nhiệm lập bản đồ triển khai theo nhu cầu của doanh nghiệp dựa trên chi phí và hiệu suất.

Điều này có nghĩa là sự phức tạp về mặt kỹ thuật và hoạt động được che đậy sau một loạt các dịch vụ, mỗi cái có các điều khoản cụ thể về hiệu suất, tính khả dụng, phục hồi, v.v … Các điều khoản này được mô tả trong các thỏa thuận mức dịch vụ (SLA) và thường được đàm phán giữa nhà cung cấp dịch vụ và khách hàng, với các khoản phạt do không tuân thủ.

Trong thực tế, điều này tạo ra một trung tâm dữ liệu ảo. Ngay cả với cách tiếp cận này, bạn vẫn cần biết những gì cần thiết để xây dựng và triển khai dữ liệu lớn để có thể lựa chọn phù hợp nhất từ ​​các dịch vụ hiện có. Mặc dù có một SLA, tổ chức của bạn vẫn có trách nhiệm cuối cùng về hiệu suất.

Các mạng dữ liệu dư thừa vật lý

Các mạng cần dư thừa và phải có đủ dung lượng để đáp ứng được khối lượng và vận tốc dự kiến ​​của dữ liệu gửi đến và ra bên ngoài lưu thông mạng "bình thường" mà kinh doanh gặp phải. Khi bạn bắt đầu làm cho dữ liệu lớn trở thành một phần không thể tách rời của chiến lược máy tính của bạn, thì hợp lý là mong muốn khối lượng và vận tốc tăng lên.

Các nhà thiết kế cơ sở hạ tầng nên lên kế hoạch cho những tăng kỳ vọng này và cố gắng tạo ra các hiện thực vật lý "linh hoạt. "Khi lượng truy cập và lưu lượng mạng giảm sút, thì các thiết bị vật lý có liên quan đến việc thực hiện cũng vậy. Cơ sở hạ tầng của bạn nên cung cấp khả năng giám sát để các nhà khai thác có thể phản ứng khi cần nhiều nguồn lực hơn để giải quyết những thay đổi trong khối lượng công việc.

Quản lý phần cứng dữ liệu lớn: Lưu trữ và máy chủ

Tương tự như vậy, phần cứng (lưu trữ và máy chủ) phải có tốc độ và khả năng đủ để xử lý tất cả các khả năng dữ liệu mong đợi lớn. Không cần phải có một mạng tốc độ cao với các máy chủ chậm vì các máy chủ sẽ rất có thể trở thành nút cổ chai. Tuy nhiên, một bộ máy chủ lưu trữ và tính toán rất nhanh có thể vượt qua hiệu suất mạng biến đổi. Dĩ nhiên, không có gì sẽ hoạt động được nếu hiệu năng mạng kém hoặc không đáng tin cậy.

Các hoạt động cơ sở hạ tầng dữ liệu lớn

Một cân nhắc quan trọng khác là quản lý hoạt động của cơ sở hạ tầng. Mức độ hiệu quả và sự linh hoạt lớn nhất sẽ chỉ có trong một môi trường được quản lý tốt. Các nhà quản lý trung tâm dữ liệu cần có khả năng đoán trước và ngăn ngừa những thất bại thảm khốc để duy trì tính toàn vẹn của dữ liệu và thông qua các quy trình kinh doanh. Các tổ chức CNTT thường bỏ sót và do đó không được đầu tư vào lĩnh vực này.