在DataWorks中,Holo是基于有状态的实时数据计算引擎,用于支持复杂的数据转换和处理任务,为了区分内表和外表,Holo使用以下规则:
(图片来源网络,侵删)
1、内表(Internal Table):
内表是存储在Holo集群中的持久化数据表,可以在不同的任务之间共享和重用。
内表可以是源表、目标表或临时表。
内表的数据可以通过数据集成、数据同步等方式从外部数据源导入,也可以由其他任务生成。
内表的数据在集群中持久化存储,即使任务执行完成,数据也不会丢失。
内表可以使用SQL语句进行查询、插入、更新和删除操作。
2、外表(External Table):
外表是指向外部数据源的引用,可以在Holo任务中使用,但数据本身不存储在Holo集群中。
外表可以是关系型数据库、NoSQL数据库、文件系统等外部数据源。
外表的数据需要在任务执行时从外部数据源读取,执行完成后,数据不会保留在Holo集群中。
外表可以使用SQL语句进行查询操作,但不能进行插入、更新和删除操作。
以下是一个简单的示例,说明如何在DataWorks中使用Holo区分内表和外表:
1、创建内表:
CREATE TABLE internal_table ( id INT, name STRING, age INT) STORED BY 'org.apache.hive.hcatalog.core.HCatStorer';
2、创建外表:
CREATE EXTERNAL TABLE external_table ( id INT, name STRING, age INT) LOCATION 'hdfs://localhost:9000/user/hive/warehouse/external_table';
3、查询内表和外表:
查询内表select * FROM internal_table;查询外表select * FROM external_table;
免责声明:本站内容(文字信息+图片素材)来源于互联网公开数据整理或转载,仅用于学习参考,如有侵权问题,请及时联系本站删除,我们将在5个工作日内处理。联系邮箱:chuangshanghai#qq.com(把#换成@)

QQ客服