Trang Chủ Tài chính Cá nhân Kiến trúc của Hive Apache - núm vú

Kiến trúc của Hive Apache - núm vú

Video: Big Data analytics Hadoop with Mapreduce, HIVE, PIG , Zookeeper and Spark Class 1 2025

Video: Big Data analytics Hadoop with Mapreduce, HIVE, PIG , Zookeeper and Spark Class 1 2025
Anonim

Khi bạn kiểm tra các phần tử của Apache Hive, bạn có thể nhìn thấy ở phía dưới cùng của Hive nằm trên đầu trang của Hadoop Distributed File System (HDFS) và các hệ thống MapReduce.

Trong trường hợp của MapReduce, các hình ảnh thể hiện cả Hadoop 1 và Hadoop 2 thành phần. Với Hadoop 1, truy vấn Hive được chuyển đổi sang mã MapReduce và được thực hiện bằng cơ sở hạ tầng MapReduce v1 (MRv1), như JobTracker và TaskTracker.

Với Hadoop 2, YARN đã tách quản lý và lập kế hoạch tài nguyên khỏi khuôn khổ MapReduce. Các truy vấn Hive vẫn có thể được chuyển đổi sang mã MapReduce và được thực hiện, bây giờ với MapReduce v2 (MRv2) và cơ sở hạ tầng YARN.

Có một khuôn khổ mới đang được phát triển gọi là Apache Tez, được thiết kế để cải thiện hiệu suất Hive cho các truy vấn theo lô và hỗ trợ các truy vấn nhỏ hơn (còn gọi là thời gian thực). Vào thời điểm viết, dự án Apache Tez vẫn đang trong giai đoạn ủ bệnh, và chưa có bản phát hành sẵn sàng cho sản xuất.

Di chuyển lên biểu đồ, bạn tìm thấy các Hive Driver, mà biên dịch, tối ưu hóa, và thực hiện các HiveQL. Trình điều khiển Hive có thể chọn thực hiện câu lệnh và lệnh HiveQL tại địa phương hoặc sinh ra một công việc MapReduce, tùy thuộc vào nhiệm vụ đang diễn ra. Trình điều khiển Hive lưu trữ siêu dữ liệu bảng trong metastore và cơ sở dữ liệu.

Bạn có thể có một số quen với SQL và mô hình cơ sở dữ liệu quan hệ từ thế giới của RDBMS. Một quan hệ

bảng

hoặc

Cấu hình này tốt cho mục đích học tập, nhưng chế độ nhúng chỉ có thể hỗ trợ một phiên Nêu duy nhất, vì vậy nó thường không được sử dụng trong môi trường sản xuất nhiều người dùng.Hai chế độ khác tồn tại - cục bộ và

từ xa - có thể hỗ trợ tốt hơn nhiều phiên Hive trong môi trường sản xuất. Ngoài ra, bạn có thể cấu hình bất kỳ RDBMS nào tương thích với bộ Java (JDBC) Application Programming Interface (API). (Các ví dụ ở đây bao gồm MySQL và DB2) Chìa khóa để hỗ trợ ứng dụng là Hive Thrift Server, cho phép nhiều khách hàng truy cập hệ thống con Hive. Trình khách SQL SQuirreL SQL nguồn mở được đưa vào làm ví dụ. Điểm chính là bất kỳ ứng dụng JDBC nào có thể truy cập vào Hive thông qua trình điều khiển JDBC đi kèm. Câu lệnh tương tự áp dụng cho các máy khách tương thích với Open Database Connectivity (ODBC) - ví dụ unixODBC và tiện ích isql, thường đi kèm với Linux, cho phép truy cập vào Hive từ các máy khách Linux từ xa. Ngoài ra, nếu bạn sử dụng Microsoft Excel, bạn sẽ vui lòng biết rằng bạn có thể truy cập Hive sau khi cài đặt trình điều khiển Microsoft ODBC trên hệ thống khách hàng của bạn. Cuối cùng, nếu bạn cần truy cập Hive từ các ngôn ngữ lập trình khác ngoài Java (PHP hoặc Python, ví dụ), Apache Thrift là câu trả lời. Khách hàng của Apache Thrift kết nối với Hive qua Hive Thrift Server, giống như các khách hàng của JDBC và ODBC.

Để tiếp tục với bản vẽ kiến ​​trúc Hive, lưu ý rằng Hive bao gồm một Giao diện Dòng lệnh (Command Line Interface - CLI), nơi bạn có thể sử dụng cửa sổ terminal Linux để phát hành các truy vấn và các lệnh quản trị trực tiếp đến Driver Hive. Nếu phương pháp tiếp cận đồ họa có tốc độ cao hơn, bạn còn có một giao diện web tiện dụng để bạn có thể truy cập các bảng và dữ liệu được quản lý bởi Hive qua trình duyệt yêu thích của bạn.

Có một công nghệ trình duyệt web khác gọi là Hue cung cấp một giao diện người dùng đồ họa (GUI) cho Apache Hive. Một số người dùng Hadoop muốn có một GUI theo ý của họ thay vì chỉ là một giao diện dòng lệnh (CLI). Cùng với Hive, Huế hỗ trợ các công nghệ chính Hadoop khác cũng như HDFS, MapReduce / YARN, HBase, Zookeeper, Oozie, Pig và Sqoop. Bạn sẽ thích tên cho Giao diện đồ hoạ Apache Hive của Huế - nó được gọi là Beeswax.

Kiến trúc của Hive Apache - núm vú

Lựa chọn của người biên tập

Web Marketing: Loại bỏ đăng ký và đăng nhập để đảm bảo khả năng hiển thị - núm vú

Web Marketing: Loại bỏ đăng ký và đăng nhập để đảm bảo khả năng hiển thị - núm vú

Tiếp thị web, một cách để đảm bảo khả năng hiển thị là để loại bỏ đăng ký và các hình thức đăng nhập. Khách truy cập thường phải hoàn thành các biểu mẫu này trước khi họ có thể tải xuống một số loại nội dung cao cấp, chẳng hạn như giấy trắng hoặc trước khi họ có thể đọc một số bài viết trên trang web. Các công ty đã đưa chúng vào vị trí vì họ muốn dẫn ...

Web Marketing: Làm thế nào để Tránh Duplicate Content - núm vú

Web Marketing: Làm thế nào để Tránh Duplicate Content - núm vú

Duplicate nội dung cần tránh trong web tiếp thị và Google cung cấp công cụ để phát hiện thông tin lặp lại. Không có gì gây tổn hại cho việc tìm kiếm nội dung có liên quan của công cụ tìm kiếm cũng như tìm ra chính xác những từ giống nhau trên hai trang khác nhau. Sao chép là xấu vì những lý do này: Sao chép được sử dụng để được một chiến thuật được sử dụng để đánh lừa ...

Web Marketing: Làm thế nào để Deal với Broken Links - núm vú

Web Marketing: Làm thế nào để Deal với Broken Links - núm vú

Trong bài hát của họ. Là một nhà tiếp thị web, việc xử lý các liên kết hỏng này có thể giúp đảm bảo sự thành công của trang web của bạn. Nếu một công cụ tìm kiếm đạt đến một liên kết bị hỏng, nó không thể tìm thấy trang bạn dự định (rõ ràng) - nhưng nó cũng có thể bỏ trên trang web của bạn hoặc giảm sự liên quan ...

Lựa chọn của người biên tập

Các kiểu dữ liệu điểm nổi trong Java - núm vú

Các kiểu dữ liệu điểm nổi trong Java - núm vú

Số dấu phẩy động là số có các phần phân đoạn (thường được thể hiện bằng dấu thập phân). Bạn nên sử dụng một kiểu điểm nổi trong các chương trình Java bất cứ khi nào bạn cần một số có số thập phân, như là 19. 95 hoặc 3. 1415. Java có hai kiểu nguyên thủy cho các số dấu phẩy: float: Sử dụng 4 byte gấp đôi: Sử dụng 8 bytes Trong hầu hết tất cả ...

Tải phiên bản mới nhất của Java - núm vú

Tải phiên bản mới nhất của Java - núm vú

Trước khi bạn có thể viết các chương trình Java cho các thiết bị Android, bạn cần một số phần mềm công cụ, bao gồm cả phiên bản mới nhất của Java. Bạn có thể có được phiên bản Java mới nhất và lớn nhất bằng cách truy cập vào trang web Java. Trang web cung cấp một số lựa chọn thay thế. (Được giới thiệu) Nhấp chuột vào nút Free Java Download trên trang chính của trang web. Đối với hầu hết các máy tính, ...

Thử nghiệm với JShell - núm vú

Thử nghiệm với JShell - núm vú

JShell là một công cụ Java 9 cho phép bạn khám phá về lập trình. JShell làm cho nó dễ dàng để chơi xung quanh mà không sợ hậu quả thảm khốc. Các chương trình Java thường sử dụng cùng kiểu cũ, lúng túng: public class SomethingOrOther {public static void main (String args []) {Một chương trình Java đòi hỏi sự giới thiệu này bởi vì trong Java ...

Lựa chọn của người biên tập

Hẹn hò Sau 50: Tâm linh và Tôn giáo - những con voi

Hẹn hò Sau 50: Tâm linh và Tôn giáo - những con voi

Bản quyền © 2014 AARP Tất cả các quyền được bảo lưu. Tâm linh và tôn giáo, tình dục, những trò vui nhộn nhịp, sự tham gia của gia đình, lối sống và tiền bạc - tất cả những điều này thường quan trọng đối với những người trên 50 tuổi, nhưng bạn có thể đặt một số cao hơn những người khác. Trong bất kỳ trường hợp nào, điều quan trọng là phải suy nghĩ về họ trước để bạn có thể thảo luận ...

Hẹn hò Sau 50: Nói về Monogami - vú

Hẹn hò Sau 50: Nói về Monogami - vú

Bản quyền © 2014 AARP. Đã đăng ký Bản quyền. Một vợ một chồng là một vấn đề lớn cho dù bạn là người chưa sẵn sàng cho vợ chồng một vợ chồng và muốn hẹn hò xung quanh hay người chỉ có thể quan hệ tình dục với một người một lần. Đảm bảo đối tác hẹn hò của bạn biết bạn đang đứng ở đâu (hoặc nằm xuống) đối với vợ chồng một vợ chồng ...

Hẹn hò Sau 50: Thảo luận về sức khoẻ cá nhân của bạn - những con voi

Hẹn hò Sau 50: Thảo luận về sức khoẻ cá nhân của bạn - những con voi

Bản quyền © 2014 AARP. Đã đăng ký Bản quyền. Nếu bạn bị bệnh mãn tính hoặc đe dọa đến mạng sống khi bạn còn nhỏ, bạn đã có kinh nghiệm về sức khoẻ của mình. Có thể bạn phải liên tục kể câu chuyện về vết sẹo ngực hoặc nẹp chân hoặc giải thích số ít các viên thuốc mà bạn phải dùng mỗi ngày. Nó không phải ...