Дом » пчеловодство » Использует ли Spark hive Metastore?

Использует ли Spark hive Metastore?

272
Последнее обновление: 2021-09-17 14:22:24


Ответить:
Spark SQL не использует скрытое хранилище метаданных Hive (и по умолчанию используются каталоги в памяти, отличные от Hive , если только вы не используете spark -оболочку, которая делает обратное). Реализацией внешнего каталога по умолчанию управляет spark . sql. Также необходимо знать, как получить доступ к хранилищу метаданных улья из Spark? для подключения к хранилищу метастазов улья вам необходимо скопировать улей -сайт. xml в каталог spark / conf. После этого Spark сможет подключиться к хранилищу метаданных улья . Следовательно, возникает вопрос, использует ли компания Spark hive? Apache Hive - это уровень SQL поверх Hadoop. Hive использует язык запросов HiveQL, похожий на SQL, для выполнения запросов к большому объему данных, хранящихся в HDFS. Запросы HiveQL выполняются с использованием Hadoop MapReduce, но Hive может также использовать другие механизмы распределенных вычислений, такие как Apache Spark и Apache. Tez. Просто так, что такое Spark Metastore? Hive Metastore . Хранилище metastore Hive (также известное как spark -warehouse) - это каталог, в котором Spark SQL сохраняет таблицы, тогда как metastore Hive (также известный как metastore_db) - это реляционная база данных для управления метаданными постоянных реляционных объектов, например базы данных, таблицы, столбцы, разделы. Как Spark интегрируется с Hive? Интегрируйте Spark-SQL с Hive Скопируйте сайт-улей. xml в каталог SPARK_HOME / conf, чтобы Spark и Spark-SQL распознали конфигурацию Hive Metastore. Настройте версию Hive в / opt / mapr / spark / spark- / mapr-util /compatibility.version файл: hive_versions =

up