Thiết lập môi trường Hadoop với Apache Bigtop - núm vú

Nếu bạn cảm thấy thoải mái làm việc với máy ảo và Linux, vui lòng cài đặt Bigtop trên một máy ảo khác với những gì được khuyến khích. Nếu bạn thực sự đậm và có phần cứng, hãy tiếp tục và thử cài đặt Bigtop trên một nhóm máy ở chế độ phân phối đầy đủ!

Bước 1: Tải xuống máy ảo

Hadoop chạy trên tất cả các bản phân phối Linux phổ biến, vì vậy bạn cần một máy ảo Linux. Có một hình ảnh CentOS 6 tự do sẵn (và hợp pháp!).

Bạn sẽ cần một hệ điều hành 64-bit trên máy tính xách tay của bạn để chạy VM này. Hadoop cần một môi trường 64-bit.

Sau khi bạn đã tải về máy ảo, hãy giải nén nó từ tệp Zip đã tải xuống vào thư mục đích. Đảm bảo bạn có khoảng 50GB dung lượng có sẵn là Hadoop và dữ liệu mẫu của bạn sẽ cần đến.

Nếu bạn chưa có máy ảo, bạn có thể tải xuống miễn phí.

Sau khi bạn đã thiết lập máy nghe nhạc VM của bạn, mở máy nghe nhạc, vào File → Open, sau đó đi đến thư mục mà bạn đã trích xuất Linux VM của bạn. Tìm một tập tin gọi là và chọn nó. Bạn sẽ thấy thông tin về số bộ vi xử lý và bộ nhớ nó sẽ sử dụng bao nhiêu. Tìm hiểu xem có bao nhiêu bộ nhớ máy tính của bạn có, và phân bổ một nửa cho máy ảo để sử dụng. Hadoop cần rất nhiều bộ nhớ.

Khi bạn đã sẵn sàng, hãy nhấp vào nút Phát, và cá thể Linux của bạn sẽ khởi động. Bạn sẽ nhìn thấy rất nhiều thông điệp đang bay khi Linux khởi động và bạn sẽ đến màn hình đăng nhập. Tên người dùng đã được đặt thành "Tom. "Xác định mật khẩu là" tomtom "và đăng nhập.

Bước 2: Tải về Bigtop

Từ bên trong Linux VM của bạn, nhấp chuột phải vào màn hình và chọn Open in Terminal từ trình đơn ngữ cảnh hiện ra. Thao tác này sẽ mở ra một đầu cuối Linux, nơi bạn có thể chạy các lệnh. Nhấp vào bên trong thiết bị đầu cuối để bạn có thể thấy con trỏ nhấp nháy và nhập lệnh sau: su -

Bạn sẽ được yêu cầu nhập mật khẩu, vì vậy gõ "tomtom" như bạn đã làm trước đó. Lệnh này sẽ chuyển người dùng đến root, đây là tài khoản chính cho máy tính Linux - bạn cần cài đặt Hadoop.

Với quyền truy cập gốc của bạn (đừng để sức mạnh lên đầu bạn), hãy chạy lệnh sau:

wget -O / etc / yum. repos. d / bigtop. repo 

// www. apache. org / dist / bigtop / bigtop- 
0. 7. 0 / repos / centos6 / bigtop. repo

Lệnh này chủ yếu là một yêu cầu web, yêu cầu một tệp cụ thể trong URL mà bạn có thể thấy và viết nó vào một đường dẫn cụ thể - trong trường hợp này, đó là /.

Bước 3: Cài đặt Bigtop

Các thiên tài đằng sau Linux đã làm cho cuộc sống khá dễ dàng cho những người cần cài đặt các gói phần mềm lớn như Hadoop.Những gì bạn đã tải xuống ở bước cuối cùng không phải là gói toàn bộ của Bigtop và tất cả các phụ thuộc của nó. Đó chỉ là một kho lưu trữ (với phần mở rộng), cho biết chương trình cài đặt cần có gói phần mềm để cài đặt Bigtop.

Giống như bất kỳ sản phẩm phần mềm lớn, Hadoop có nhiều điều kiện tiên quyết, nhưng bạn không cần phải lo lắng. Một tệp được thiết kế tốt sẽ trỏ đến bất kỳ phụ thuộc nào và trình cài đặt đủ thông minh để xem chúng có bị thiếu trên máy tính hay không và tải về và cài đặt chúng.

Trình cài đặt bạn đang sử dụng ở đây được gọi là yum, bạn có thể thấy trong hành động bây giờ:

yum install hadoop * mahout * oozie * hbase * hive * hue * heo * zookeeper *

Lưu ý rằng bạn đang lựa chọn và lựa chọn các thành phần Hadoop để cài đặt. Có một số thành phần khác có sẵn trong Bigtop, nhưng đây là những thứ bạn sẽ sử dụng ở đây. Vì máy ảo là một cài đặt Linux mới, bạn sẽ cần rất nhiều phụ thuộc, do đó bạn sẽ cần phải đợi một chút.

trình cài đặt yum hoàn toàn tiết kiệm, vì vậy bạn có thể xem chính xác những gì đang được tải xuống và cài đặt để vượt qua thời gian. Khi quá trình cài đặt hoàn tất, bạn sẽ thấy thông báo "Complete! "

Bước 4: Bắt đầu Hadoop

Trước khi bạn bắt đầu chạy các ứng dụng trên Hadoop, có một số cấu hình cơ bản và các thiết lập mà bạn cần làm. Ở đây chúng được theo thứ tự:

1. Tải về và cài đặt Java:

   yum install java-1. 7. 0-openjdk-devel. x86_64
   

2. Định dạng NameNode:

   sudo / etc / init. d / hadoop-hdfs-namenode init
   

3. Khởi động dịch vụ Hadoop cho cụm sao giả:

   cho i trong hadoop-hdfs-namenode hadoop-hdfs-datanode; làm sudo dịch vụ $ tôi bắt đầu; done
   

4. Tạo một cấu trúc thư mục con trong HDFS:

   sudo / usr / lib / hadoop / libexec / init-hdfs. sh
   

5. Bắt đầu daemon YARN:

dịch vụ sudo hadoop-yarn-resourcemanager startudo dịch vụ hadoop-yarn-nodemanager bắt đầu

Và với điều đó, bạn đã hoàn tất. Xin chúc mừng! Bạn đã cài đặt triển khai Hadoop hoạt động!

Bước 5: Tải xuống bộ dữ liệu mẫu

Để tải về bộ dữ liệu mẫu, hãy mở trình duyệt Firefox từ bên trong máy ảo và vào trang dataexpo.

Bạn sẽ không cần toàn bộ bộ dữ liệu, vì vậy bắt đầu với một năm, 1987. Khi bạn sắp tải xuống, hãy chọn tùy chọn Mở với Trình quản lý Lưu trữ.

Sau khi tệp của bạn đã tải xuống, hãy giải nén tệp vào thư mục chính của bạn nơi bạn có thể dễ dàng tìm thấy tệp. Nhấp chuột vào nút Extract, và sau đó chọn thư mục Desktop.

Bước 6: Sao chép dữ liệu mẫu thành HDFS

Hãy nhớ rằng các chương trình Hadoop của bạn chỉ có thể làm việc với dữ liệu sau khi nó được lưu trữ trong HDFS. Vì vậy, những gì bạn sẽ làm bây giờ là sao chép tệp dữ liệu chuyến bay cho năm 1987 vào HDFS. Nhập lệnh sau:

hdfs dfs -copyFromLocal 1987. csv / user / root