tailieunhanh - Điều phối tác vụ trong hệ thống MAP-REDUCE dựa trên tính địa phương của dữ liệu

Bài viết tập trung nghiên cứu và so sánh hiệu suất hệ thống trong các trường hợp độ sao lưu dữ liệu có giá trị khác nhau, từ đó giúp người vận hành hệ thống Map-Reduce có thêm một tiêu chí để chọn các thông số hệ thống phù hợp. Mời các bạn cùng tham khảo! | Hội Thảo Quốc Gia 2015 về Điện Tử Truyền Thông và Công Nghệ Thông Tin ECIT 2015 Hội Thảo Quốc Gia 2015 về Điện Tử Truyền Thông và Công Nghệ Thông Tin ECIT 2015 i u Ph i Tác V Trong H Th ng MAP-REDUCE D a Trên Tính a Phư ng C a D Li u Hu nh T n t Bùi Xuân L c H c viên Khoa Công Ngh Thông Tin II Khoa K Thu t H c Vi n Công Ngh Bưu Chính Vi n Thông i H c Tân T o Email dathuynhtan@ Email locbui@ Abstract V n d li u a phư ng là m t v n quan tr ng thêm t o ra k t qu cu i cùng. Khi th c hi n các tác v c n xem xét khi thi t k thu t toán i u ph i công vi c cho h map m t trong nh ng xem xét quan tr ng là vi c phân b th ng Map-Reduce. G n ây bài báo k thu t 13 ã gi i quy t tác v g n v i máy tính lưu tr kh i d li u u vào cho tác v ư c v n d li u a phư ng b ng vi c xu t m t ki n trúc ó v n này còn ư c g i là v n d li u a phư ng. hàng i m i và m t thu t toán i u ph i tác v ánh x map task d a trên chính sách JSQ Join the Shortest Queue k t h p i v i m i tác v chúng ta g i m t máy tính là m t máy v i chính sách MaxWeight. Tuy nhiên bài báo 13 ch xem xét tính a phư ng cho tác v n u o n d li u liên quan n tác trư ng h p sao lưu d li u là m t giá tr c th b ng 3. Trên v này ư c lưu tr ngay t i máy tính ó và chúng ta g i tác th c t tu thu c vào c u hình h th ng sao lưu d li u có th v này là m t tác v a phư ng trên máy tính. Trong trư ng l n h n ho c nh h n 3. Trong bài báo này chúng tôi m r ng nghiên c u c a bài báo 13 và so sánh hi u su t h th ng trong h p còn l i ngh a là d li u c n thi t cho tác v không ư c các trư ng h p sao lưu d li u có giá tr khác nhau t ó lưu tr t i máy tính máy tính ó ư c g i là máy tính t xa giúp ngư i v n hành h th ng Map-Reduce có thêm m t tiêu chí cho tác v và tư ng ng v i tác v này ư c g i là tác v t ch n các thông s h th ng phù h p. xa trên máy tính. Tính a phư ng nên ư c xem xét n trong vi c phân b các tác v map ch y trên các máy tính. Vi c Keywords- i n toán ám mây Map-Reduce d li u a c i thi n tính a phư ng có th gi m th i gian x lý c