Дом » хранение и хранение данных » Что такое Hadoop MapReduce?

Что такое Hadoop MapReduce?

262
Последнее обновление: 2021-09-13 11:50:22


Ответить:
Hadoop MapReduce ( Hadoop Map / Reduce ) - это программная среда для распределенной обработки больших наборов данных на вычислительных кластерах стандартного оборудования. Фреймворк заботится о планировании задач, отслеживании их и повторном выполнении любых неудачных задач. Тогда что такое MapReduce и как он работает в Hadoop? Apache Hadoop MapReduce - это платформа для параллельной обработки больших наборов данных в Hadoop кластер. Анализ данных использует двухэтапную карту и процесс сокращения. Конфигурация задания предоставляет функции анализа сопоставления и сокращения, а структура Hadoop предоставляет услуги планирования, распределения и распараллеливания. Что такое MapReduce для больших данных? MapReduce - это модель программирования для обработки больших наборов данных с помощью параллельного распределенного алгоритма в кластере (источник: Википедия). Map Reduce в сочетании с HDFS можно использовать для обработки больших данных . Он также имеет широкие возможности для обработки неструктурированных данных . Что такое MapReduce в Hadoop на примере? MapReduce - это среда программирования, которая позволяет нам выполнять распределенную и параллельную обработку больших наборов данных в распределенной среде. Затем редуктор объединяет эти промежуточные кортежи данных (промежуточную пару 'ключ-значение') в меньший набор кортежей или пар 'ключ-значение', который и является окончательным результатом. Для чего используется MapReduce? MapReduce - это платформа, с помощью которой мы можем писать приложения для параллельной обработки огромных объемов данных на больших кластерах стандартного оборудования надежным способом. MapReduce - это платформа для недопустимо параллельных вычислений, которые используют потенциально большие наборы данных и большое количество узлов.

up