一、简介

本文章主讲创建 Doris 自维护的表的语法,以下为本人最近为数据中台接入doris所踩的坑及其解决方案,欢迎点评。

二、doris建表语法:

官网建表语法网址链接:CREATE-TABLE – Apache Doris

官网建表语法如图所示:

目前我们常见建表主要使用字段列(column_definition_list)、引擎(engine_type)、主键设置(keys_type)、表注释(table_comment)、分桶(distribution_desc)。以下建表示例主要涵盖上面所列。

三、个人建表示例:

-- test_db.student definitionCREATE TABLE IF NOT EXISTS `test_db`.`student` (`stu_num` bigint(20) NULL COMMENT '学生ID编号',`gmt_create` datetime NOT NULL COMMENT '创建时间',`gmt_modified` datetime NOT NULL COMMENT '修改时间',`op_create_id` bigint(20) NOT NULL COMMENT '创建人id',`op_modified_id` bigint(20) NOT NULL COMMENT '更新人id',`op_create_name` varchar(32) NOT NULL COMMENT '创建人名称',`op_modified_name` varchar(32) NOT NULL COMMENT '修改人名称',`stu_name` varchar(32) NOT NULL COMMENT '学生姓名',`stu_class_name` char NULL COMMENT '学生班级') ENGINE=OLAPUNIQUE KEY(`stu_num`)COMMENT '学生表'DISTRIBUTED BY HASH(`stu_num`) BUCKETS 32PROPERTIES ("replication_allocation" = "tag.location.default: 3","is_being_synced" = "false","storage_format" = "V2","light_schema_change" = "true","disable_auto_compaction" = "false","enable_single_replica_compaction" = "false");

建表拆解:

1、字段设置:

语法顺序:字段名 字段类型(有长度就带长度,无长度使用默认) 是否非空 默认值(DEFAULT后面加上默认值,默认值要用双引号) 字段注释。

注意:如果是decimal类型的,要注意字段长度和小数点范围:[(precision, scale)]precision: 1 ~ 27scale: 0 ~ 9。

坑一:字段设置顺序必须按这个语法来。

坑二:目前按我使用的doris数据库建表来看,暂时不支持自增字段(AUTO_INDREMENT)设置,否则会报错:SQL 错误 [1105] [HY000]: errCode = 2, detailMessage = auto increment column is not supported currently. 翻译过来就是currently not supported auto increment 当前不支持自增。

#语法`stu_num` bigint(20) NOT NULLDEFAULT "0" COMMENT '学生号码',

2、引擎类型设置:

#设置引擎ENGINE=OLAP

3、设置主键列

坑一:如果设置主键列,那么主键列必须排在其他字段前面,否则会报错该字段前面还有其他字段。

坑二:浮点数double和float不能作为主键列,string类型也不建议用作主键列。

#设置主键列UNIQUE KEY(`stu_num`)

4、表注释

#表注释COMMENT '学生表'

5、分桶列:一个doris自建表可以没有分区列,但必须拥有分桶列。

坑一:如果设置了主键列,那么分桶列必须使用主键列字段,否则可以使用非主键列字段。

坑二:设置的分桶列必须按字段设置的顺序进行排序,如设置了字段k1,k2,k3,那么分桶列也得(k1,k2,k3),否则建表会报异常:k3前面还有字段。

6、PROPERTIES 参数设置:

这个一般使用默认值,如需使用可以参考官网。

7、关于double、float和string类型的字段长度问题

在创建doris表时,double、float和string类型不要给长度,否则会报错。其中string类型是超长度类型,在doris数据库中,varchar类型最长是65533,而string类型没有限制,因此在作为数据同步迁移的时候,string类型对应于其他数据库超长度类型(如mysql的longtext)。

语法示例:

money double not null comment "金钱"num float not null comment "数量"remark double not null comment "备注"

四、调整表结构

目前实验结果:支持修改表名、表注释、字段类型修改,新增字段,字段注释修改,支持非空修改为空(反之不行,主键列不允许修改非空或者不非空的设置)。标签字段类型修改时要符合转换规则。

1、字段类型转换规范

  • TINYINT/SMALLINT/INT/BIGINT/LARGEINT/FLOAT/DOUBLE 类型向范围更大的数字类型转换
  • TINTINT/SMALLINT/INT/BIGINT/LARGEINT/FLOAT/DOUBLE/DECIMAL 转换成 VARCHAR
  • VARCHAR 支持修改最大长度
  • VARCHAR/CHAR 转换成 TINTINT/SMALLINT/INT/BIGINT/LARGEINT/FLOAT/DOUBLE
  • VARCHAR/CHAR 转换成 DATE (目前支持”%Y-%m-%d”, “%y-%m-%d”, “%Y%m%d”, “%y%m%d”, “%Y/%m/%d, “%y/%m/%d”六种格式化格式)
  • DATETIME 转换成 DATE(仅保留年-月-日信息, 例如:2019-12-09 21:47:052019-12-09)
  • DATE 转换成 DATETIME(时分秒自动补零, 例如:2019-12-092019-12-09 00:00:00)
  • FLOAT 转换成 DOUBLE
  • INT 转换成 DATE (如果INT类型数据不合法则转换失败,原始数据不变)
  • 除DATE与DATETIME以外都可以转换成STRING,但是STRING不能转换任何其他类型

2、 修改表名

#修改表名ALTER TABLE student RENAME student2;

3、修改表注释

#修改表注释ALTER TABLE student MODIFY COMMENT "学生信息表"

4、修改字段类型和注释、新增字段、删除字段

坑一:删除字段不能用来删除主键和分桶列。

坑二:无法修改字段名,因此建表时要设计好字段名称。

#修改字段类型和注释ALTER TABLE test_db.studentMODIFY COLUMN `stu_class_name` VARCHAR(32) COMMENT "学生班级名称";#新增字段ALTER TABLE `test_db`.`student`ADD COLUMN `stu_scope` INT NOT NULL DEFAULT "0" COMMENT "学生成绩";#删除字段ALTER TABLE `test_db`.`student`DROP COLUMN `stu_scope`;