ĐăNg nhập Dữ liệu với Flume trong HDFS - núm vú

Một số dữ liệu kết thúc trong Hệ thống tệp phân tán Hadoop (HDFS) có thể tải xuống qua các hoạt động tải cơ sở dữ liệu hoặc các loại quy trình theo lô, nếu bạn muốn nắm bắt dữ liệu đang chảy trong luồng dữ liệu thông lượng cao, chẳng hạn như dữ liệu nhật ký ứng dụng? Apache Flume là cách tiêu chuẩn hiện tại để làm điều đó một cách dễ dàng, hiệu quả và an toàn.

Apache Flume , một dự án cấp cao khác từ Apache Software Foundation, là một hệ thống phân phối để tập hợp và di chuyển số lượng lớn dữ liệu phát trực tuyến từ các nguồn khác nhau sang một kho dữ liệu tập trung.

Nói cách khác, Flume được thiết kế để tiếp tục nhập dữ liệu vào HDFS. Dữ liệu có thể là bất kỳ loại dữ liệu nào, nhưng Flume đặc biệt phù hợp để xử lý dữ liệu nhật ký, chẳng hạn như dữ liệu nhật ký từ các máy chủ web. Các đơn vị dữ liệu mà các quy trình Flume được gọi là sự kiện ; một ví dụ của sự kiện là một bản ghi.

Để hiểu Flume hoạt động như thế nào trong một cụm Hadoop, bạn cần phải biết rằng Flume chạy như một hoặc nhiều agent, và mỗi agent có ba thành phần có khả năng cắm là: các nguồn, các kênh và các bồn rửa:

• Nguồn lấy dữ liệu và gửi nó đến các kênh.

• Kênh giữ hàng đợi dữ liệu và đóng vai trò như các ống dẫn giữa các nguồn và bồn rửa, hữu ích khi tỷ lệ dòng chảy đến vượt quá tốc độ dòng chảy đi.

• Chìm xử lý dữ liệu được lấy từ các kênh và phân phối đến đích, chẳng hạn như HDFS.

  

Một đại lý phải có ít nhất một thành phần để chạy, và mỗi agent được chứa trong một ví dụ riêng của nó là Java Virtual Machine (JVM).

Một sự kiện được ghi vào kênh theo nguồn không bị xóa khỏi kênh đó cho đến khi một bồn rửa sẽ loại bỏ nó bằng cách giao dịch. Nếu một mạng thất bại xảy ra, các kênh giữ các sự kiện của họ xếp hàng đợi cho đến khi bồn rửa có thể ghi chúng vào cluster. Một kênh trong bộ nhớ có thể xử lý các sự kiện nhanh chóng, nhưng nó không ổn định và không thể phục hồi, trong khi một kênh dựa trên tệp cung cấp tính bền bỉ và có thể phục hồi được trong trường hợp thất bại.

Mỗi đại lý có thể có nhiều nguồn, kênh và bồn rửa, và mặc dù một nguồn có thể ghi vào nhiều kênh, một bồn rửa chén có thể lấy dữ liệu từ chỉ một kênh.

Một đại lý chỉ là một JVM đang chạy Flume và các bồn chứa cho mỗi nút đại lý trong cụm Hadoop gửi dữ liệu tới các nút thu, tổng hợp dữ liệu từ nhiều đại lý trước viết nó lên HDFS, nơi nó có thể được phân tích bởi các công cụ Hadoop khác. Các đại lý có thể được nối liền với nhau để bồn rửa từ một đại lý gửi dữ liệu đến nguồn từ một đại lý khác.Avro, khuôn khổ gọi và nối tiếp từ xa của Apache, là cách thông thường để gửi dữ liệu qua mạng với Flume, bởi vì nó phục vụ như một công cụ hữu ích cho việc tuần tự hóa hay chuyển đổi dữ liệu thành một định dạng nhị phân nhỏ gọn. Trong ngữ cảnh của Flume, sự tương thích rất quan trọng: Một sự kiện Avro đòi hỏi một nguồn Avro, ví dụ và một bồn rửa chén phải cung cấp các sự kiện phù hợp với điểm đến.

Điều gì làm cho chuỗi nguồn, kênh và bồn rửa này hoạt động tốt là cấu hình tác nhân Flume, được lưu trữ trong một tệp văn bản cục bộ được cấu trúc giống như tệp thuộc tính Java. Bạn có thể cấu hình nhiều agent trong cùng một file. Xem một tập tin mẫu, được gọi là flume-agent. conf - nó được thiết lập để cấu hình một agent có tên shaman:

# Xác định các thành phần trên shaman agent: shaman. nguồn = netcat_s1 shaman. chìm = hdfs_w1 shaman. channel = in-mem_c1 # Cấu hình nguồn: shaman. nguồn. netcat_s1. type = netcat shaman. nguồn. netcat_s1. bind = pháp sư localhost. nguồn. netcat_s1. port = 44444 # Mô tả bồn rửa chén: shaman. chìm. hdfs_w1. type = hdfs shaman. chìm. hdfs_w1. hdfs. path = hdfs: // shaman. chìm. hdfs_w1. hdfs. writeFormat = Văn bản pháp sư. chìm. hdfs_w1. hdfs. fileType = DataStream # Định cấu hình kênh đệm các sự kiện trong bộ nhớ: shaman. kênh truyền hình. in-mem_c1. type = bộ nhớ shaman. kênh truyền hình. in-mem_c1. năng lực = 20000 pháp sư. kênh truyền hình. in-mem_c1. transactionCapacity = 100 # Gắn nguồn và chìm vào kênh: shaman. nguồn. netcat_s1. kênh = trong-mem_c1 pháp sư. chìm. hdfs_w1. channels = in-mem_c1

Tập tin cấu hình bao gồm các thuộc tính cho từng nguồn, kênh, và chìm trong đại lý và xác định cách chúng được kết nối. Trong ví dụ này, agent shaman có một nguồn để lắng nghe dữ liệu (tin nhắn tới netcat) trên cổng 44444, một kênh đệm dữ liệu sự kiện trong bộ nhớ, và một bồn rửa chén để ghi dữ liệu sự kiện vào bàn điều khiển.

Tệp cấu hình này có thể đã được sử dụng để xác định một số tác nhân; ở đây, bạn đang cấu hình chỉ một để giữ mọi thứ đơn giản.

Để bắt đầu tác nhân, hãy sử dụng một tập lệnh vỏ gọi là flume-ng, nằm trong thư mục bin của phân phối Flume. Từ dòng lệnh, đưa ra lệnh agent, xác định đường dẫn đến tệp cấu hình và tên tác nhân.

Lệnh mẫu sau đây bắt đầu với đại lý Flume:

agent flume-ng -f / -n shaman

Nhật ký của đại lý Flume phải có các mục xác nhận rằng nguồn, kênh và bồn rửa bắt đầu thành công.

Để kiểm tra thêm cấu hình, bạn có thể telnet đến cổng 44444 từ thiết bị đầu cuối khác và gửi Flume một sự kiện bằng cách nhập một chuỗi văn bản tùy ý. Nếu mọi việc suôn sẻ, nhà ga Flume ban đầu sẽ đưa ra sự kiện trong một thông điệp tường trình rằng bạn sẽ có thể nhìn thấy trong bản ghi của đại lý.