网站备案 幕布,wordpress文章标题title,网站建设与管理可以专升本吗,织梦网站被植入广告Paimon Catalog可以持久化元数据#xff0c;当前支持两种类型的metastore#xff1a;
文件系统#xff08;默认#xff09;#xff1a;将元数据和表文件存储在文件系统中。hive#xff1a;在 hive metastore中存储元数据。用户可以直接从 Hive 访问表。
2.2.1 文件系统…Paimon Catalog可以持久化元数据当前支持两种类型的metastore
文件系统默认将元数据和表文件存储在文件系统中。hive在 hive metastore中存储元数据。用户可以直接从 Hive 访问表。
2.2.1 文件系统
CREATE CATALOG fs_catalog WITH ( type paimon, warehouse hdfs://hadoop102:8020/paimon/fs
); USE CATALOG fs_catalog;
2.2.2 Hive Catalog
通过使用Hive Catalog对Catalog的更改将直接影响相应的hive metastore。在此类Catalog中创建的表也可以直接从 Hive 访问。
要使用 Hive Catalog数据库名称、表名称和字段名称应小写。
1上传 hive-connector
将flink-sql-connector-hive-3.1.3_2.12-1.17.0.jar上川到Flink的lib目录下
2重启yarn-session集群
3启动hive的metastore服务
nohup hive --service metastore
4创建Hive Catalog
CREATE CATALOG hive_catalog WITH ( type paimon, metastore hive,
uri thrift://hadoop102:9083,
hive-conf-dir /opt/module/hive/conf, warehouse hdfs://hadoop102:8020/paimon/hive
); USE CATALOG hive_catalog;
5注意事项
使用hive Catalog通过alter table更改不兼容的列类型时参见 HIVE-17832。需要配置
vim /opt/module/hive/conf/hive-site.xml; property namehive.metastore.disallow.incompatible.col.type.changes/name valuefalse/value /property
上述配置需要在hive-site.xml中配置且hive metastore服务需要重启。
如果使用的是 Hive3请禁用 Hive ACID
hive.strict.managed.tablesfalse
hive.create.as.insert.onlyfalse
metastore.create.as.acidfalse
Paimon Catalog可以持久化元数据当前支持两种类型的metastore
文件系统默认将元数据和表文件存储在文件系统中。hive在 hive metastore中存储元数据。用户可以直接从 Hive 访问表。
2.2.1 文件系统
CREATE CATALOG fs_catalog WITH ( type paimon, warehouse hdfs://hadoop102:8020/paimon/fs
); USE CATALOG fs_catalog;
2.2.2 Hive Catalog
通过使用Hive Catalog对Catalog的更改将直接影响相应的hive metastore。在此类Catalog中创建的表也可以直接从 Hive 访问。
要使用 Hive Catalog数据库名称、表名称和字段名称应小写。
1上传 hive-connector
将flink-sql-connector-hive-3.1.3_2.12-1.17.0.jar上川到Flink的lib目录下
2重启yarn-session集群
3启动hive的metastore服务
nohup hive --service metastore
4创建Hive Catalog
CREATE CATALOG hive_catalog WITH ( type paimon, metastore hive,
uri thrift://hadoop102:9083,
hive-conf-dir /opt/module/hive/conf, warehouse hdfs://hadoop102:8020/paimon/hive
);
USE CATALOG hive_catalog;
5注意事项
使用hive Catalog通过alter table更改不兼容的列类型时参见 HIVE-17832。需要配置
vim /opt/module/hive/conf/hive-site.xml; property namehive.metastore.disallow.incompatible.col.type.changes/name valuefalse/value /property
上述配置需要在hive-site.xml中配置且hive metastore服务需要重启。
如果使用的是 Hive3请禁用 Hive ACID
hive.strict.managed.tablesfalse
hive.create.as.insert.onlyfalse
metastore.create.as.acidfalse
2.2.3 sql 初始化文件
vi sql_init.sql
CREATE CATALOG fs_catalog WITH ( type paimon, warehouse hdfs://doitedu:8020/paimon/fs );
CREATE CATALOG hive_catalog WITH ( type paimon, metastore hive, uri thrift://hadoop102:9083, hive-conf-dir /opt/module/hive/conf, warehouse hdfs://doitedu:8020/paimon/hive ); USE CATALOG hive_catalog;
SET sql-client.execution.result-mode tableau;
2启动sql-client时指定该sql初始化文件
bin/sql-client.sh -s yarn-session -i conf/sql-client-init.sql
3查看catalog
show catalogs;
show current catalog;
