CHALLENGE

HMS # Hive Metastore

• Hive Metastore & SparkSQL & Local FileSystem

  Data Engineering 2024. 1. 14. 20:07

  SparkSQL로 RDB에 Metadata 및 실제 데이터를 저장하고 그것을 Hive Metastore(HMS)로 읽어들여보자. 버전 * Spark: 3.5.0 * Hadoop: 3.3.1 * Hive Metastore: 3.1.3 Hive Metastore 설치 1. hadoop, hive metastore, mysql connector 다운로드 //HADOOP Download curl -O https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz //HMS Download curl -O https://repo1.maven.org/maven2/org/apache/hive/hive-standalone-metastore/3.1..

  Read More