Video: Technology Stacks - Computer Science for Business Leaders 2016 2025
Oozie quy trình công việc, ở cốt lõi của họ, chỉ đạo đồ thị, nơi bạn có thể xác định hành động (ứng dụng Hadoop) và luồng dữ liệu, nhưng không có looping- có nghĩa là bạn có thể ' t xác định cấu trúc nơi bạn sẽ chạy một thao tác cụ thể hơn và hơn cho đến khi một số điều kiện được đáp ứng (ví dụ một vòng lặp).
Luồng công việc Oozie khá linh hoạt khi bạn có thể xác định các quyết định dựa trên điều kiện và các đường dẫn chia nhỏ để thực thi song song. Bạn cũng có thể thực hiện một loạt các hành động.
Trong hình này, bạn sẽ thấy một luồng công việc thể hiện các khả năng cơ bản của luồng công việc Oozie. Đầu tiên, một kịch bản Pig được chạy và ngay sau đó là một cây quyết định. Tùy thuộc vào trạng thái của đầu ra, luồng điều khiển có thể trực tiếp truy cập vào hoạt động của tệp HDFS (Hadoop Distributed File System) (ví dụ hoạt động copyToLocal) hoặc hành động ngã ba.
Nếu luồng điều khiển đi qua hành động ngã ba, hai công việc được chạy đồng thời: một công việc MapReduce và truy vấn Hive. Dòng điều khiển sau đó đi đến hoạt động HDFS khi cả công việc MapReduce và truy vấn Hive đã kết thúc. Sau khi hoạt động HDFS, tiến trình công việc đã hoàn tất.
Các định nghĩa luồng công việc Oozie được viết bằng XML, dựa trên lược đồ Html Định nghĩa Tiến trình Hadoop (hPDL). Do đó, lược đồ cụ thể này dựa trên lược đồ XML Definition Quy trình Xâu (XPDL), là một tiêu chuẩn độc lập cho sản phẩm để mô hình các định nghĩa quy trình nghiệp vụ.
Luồng công việc của Oozie bao gồm một loạt các hành động được mã hoá bởi các nút XML. Có nhiều loại nút khác nhau, đại diện cho các loại hành động khác nhau hoặc chỉ thị dòng chảy điều khiển. Mỗi luồng công việc Oozie đều có tệp tin XML riêng, nơi mà mỗi nút và các kết nối của nó được định nghĩa.
Các luồng luồng công việc đều yêu cầu các số nhận dạng duy nhất bởi vì chúng được sử dụng để xác định nút tiếp theo cần được xử lý trong luồng công việc. Điều này có nghĩa là thứ tự mà hành động được thực hiện phụ thuộc vào nơi mà nút hành động xuất hiện trong luồng công việc XML. Để xem khái niệm này sẽ như thế nào, hãy kiểm tra danh sách sau đây, cho thấy một ví dụ về cấu trúc cơ bản của tệp XML của luồng công việc Oozie.
… … "Công việc bị giết."
Trong ví dụ này, ngoài việc bắt đầu, kết thúc và giết các nút, bạn có hai nút hành động. Mỗi nút hành động đại diện cho một ứng dụng hoặc một lệnh đang được thực thi.
