tailieunhanh - Xử lý dữ liệu phân tán bằng Hadoop, Phần 3: Phát triển ứng dụng

Phát triển một ứng dụng MapReduce của Ruby cho Hadoop M. Tim Jones, Tác giả độc lập, Emulex Tóm tắt: Với việc cấu hình, cài đặt và sử dụng Hadoop trong các kiến trúc một nút và nhiều nút đã thu được, bạn có thể chuyển sang nhiệm vụ phát triển các ứng dụng trong cơ sở hạ tầng Hadoop. Bài viết cuối cùng trong loạt bài này tìm hiểu các API (Giao diện lập trình ứng dụng) của Hadoop và luồng dữ liệu và trình bày cách sử dụng của chúng với một ứng dụng trình ánh xạ (mapper). | Xử lý dữ liệu phân tán bằng Hadoop Phần 3 Phát triển ứng dụng Phát triển một ứng dụng MapReduce của Ruby cho Hadoop M. Tim Jones Tác giả độc lập Emulex Tóm tắt Với việc cấu hình cài đặt và sử dụng Hadoop trong các kiến trúc một nút và nhiều nút đã thu được bạn có thể chuyển sang nhiệm vụ phát triển các ứng dụng trong cơ sở hạ tầng Hadoop. Bài viết cuối cùng trong loạt bài này tìm hiểu các API Giao diện lập trình ứng dụng của Hadoop và luồng dữ liệu và trình bày cách sử dụng của chúng với một ứng dụng trình ánh xạ mapper và trình rút gọn reducer đơn giản. Hai bài viết đầu tiên của loạt bài này tập trung vào việc cài đặt và cấu hình của Hadoop cho các cụm đơn nút và đa nút. Bài viết cuối cùng này tìm hiểu cách lập trình trong Hadoop nói cụ thể là sự phát triển của ứng dụng ánh xạ và rút gọn trong ngôn ngữ Ruby. Tôi chọn Ruby vì thứ nhất nó là một ngôn ngữ tạo kịch bản lệnh hướng đối tượng tuyệt vời mà bạn nên biết và thứ hai bạn sẽ tìm thấy nhiều tài liệu tham khảo trong phần Tài nguyên với các hướng dẫn tập trung vào cả ngôn ngữ Java lẫn ngôn ngữ Python. Qua việc tìm hiểu này về lập trình MapReduce tôi cũng giới thiệu cho bạn về API theo luồng. API này cung cấp phương tiện để phát triển các ứng dụng trên các ngôn ngữ khác với ngôn ngữ Java. Hãy bắt đầu bằng một giới thiệu ngắn về ánh xạ và rút gọn theo quan điểm chức năng và sau đó đi sâu vào mô hình lập trình Hadoop và kiến trúc của nó và các yếu tố dùng để chia cắt phân phối và quản lý công việc. Nguồn gốc ánh xạ và rút gọn Vì vậy cái gì là các yếu tố chức năng đã thôi thúc mô hình lập trình MapReduce Vào năm 1958 John McCarthy đã phát minh ra một ngôn ngữ gọi là Lisp cho phép triển khai thực hiện cả tính toán số lẫn tính toán ký hiệu nhưng dưới dạng đệ quy xa lạ với hầu hết các ngôn ngữ đang sử dụng hiện nay. Thực sự có một lịch sử hấp dẫn về Lisp trên Wikipedia bao gồm một hướng dẫn thực tế đáng bỏ thời gian để đọc . Lisp lần đầu tiên được thực hiện trên máy IBM 704 máy tính được sản xuất hàng loạt đầu tiên cũng