数据库命名规范:
1、必须使用小写,并用_分隔,
2、禁止使用mysql保留关键字,
3、见名只意,不要超过32个字符,
4、临时表以tmp为前缀以日期为后缀(方便清除),
5、备份库,备份表以bak为前缀以日期为后缀,
6、所有存储相同数据的列名和列类型必须一致
基本设计规范:
1、使用innodb存储引擎(5.6以后innodb为默认引擎,支持事务,行级锁,更好的恢复性,高并发下性能更好)
2、库和表的字符集统一使用utf8 (兼容性更好) (统一字符集可以避免由于字符集转换产生的乱码,mysql utf8字符集汉字占3个字节,ASCII码占1个字节)
3、所有表和字段都需要增加注释,使用comment从句添加表和列的备注 (从一开始就进行数据字典的维护)
4、单表数据量建议控制在500万以内,(分区表在物理上表现为多个文件,在逻辑上表现为一个表,跨分区查询效率可能更低,建议采用物理分表的方式管理大数据)
5、尽量做到冷热数据分离,减少表的宽度(减少磁盘IO,保证热数据的内存缓存命中率,利用更有效的缓存,避免读入无用的冷数据,经常用的列放到一个表中)(mysql数据表最多4096列)
6、禁止在表中建立预留字段(预留字段的命名无法做到见名只意,无法确定存储的数据类型,无法选择合适的类型,对预留的字段类型进行修改,会对表进行锁定)
7、禁止存储图片,文件等二进制数据
8、禁止在线上做数据库压力测试
9、禁止从开发环境,测试环境连接生产环境数据库
索引设计规范:
1、限制每张表的索引数量,建议单张表索引数量不超过5个,索引可以提高查询效率,减低增、改的效率,禁止个表的每个列建立单独的索引
2、每个innodb表必须有一个主键,不能使用频繁更新的列作为主键,不使用多列主键,不使用uuid,md5,HASH,字符串列作为主键(无法保证数据的顺序增长),主键建议使用自增id
3、常见索引列建议:select、update、delete语句的where从句中的列,包含order by、group by、distinct中的字段、多表join的关联列
4、区分度最高的列放在联合索引的最左列(比如id,在所有数据中,数据的类型最多的),尽量把字段长度小的列放在最左侧,使用最频繁的列放在最左侧
5、避免建立冗余索引和重复索引
6、对于频繁的查询优先使用覆盖索引,避免innodb表进行索引的二次查询 可以把随机io变为顺序io 加快查询效率,覆盖索引可以直接从索引中获取所需要的字段,可以减少二次查询,加快查询效率
7、避免使用外键约束,但是一个要在外键列创建索引 外键会影响父表和子表的写操作从而降低性能
字段设计规范
1、优先选择符合存储需要的最小的数据类型,
2、将字符串转化为数字类型存储 (ip地址与数字转换)inet_aton('255.255.255.255') = 4294967295 inet_ntoa(4294967295) = '255.255.255.255' 3、对于非负整数来说,要优先使用无符号整型进行存储(无符号的数据比有数据的数据多了一倍的存储空间)
4、varchar(N)中的N代表的是字符数,不是字节数,使用utf8存储汉字varchar(255) =755个字节,多大的长度会消耗更多的内存,
5、避免使用text、blod数据类型(建议把blod和text列分离到单独的扩展表中)(text和blod只能使用前缀索引)
6、避免使用enum数据类型(是字符串类型,但是是以整型存储的),修改enum值需要使用alter语句 enum类型的order
by操作效率低,需要额外操作(将值转换为字符串,在进行排序),禁止使用数值作为enum的枚举值
7、尽可能把所有列定义为not null 索引null列需要额外的空间来存储,要占更多的空间,进行比较和计算时要对null值做特别的处理
8、字符串存储日期型的数据(不正确的坐标)无法使用日期函数进行比较和计算,用字符串占用更多的空间(字符串存储年月日时分秒至少需要16个字节,datetime类型只需要8个字节)
9、使用timestamp或datetime类型存储时间 timestamp存储年月日时分秒只需要4个字节,(timestamp有存储限制,1970-01-01 00:00:01 ~ 2038-01-19 03:14:07)timestamp占用4个字节和int相同,但是timestamp比int可读性高,超出timestamp取值的范围使用datetime类型
10、同财务相关的金额类数据,必须使用decimal类型 (decimal类型为精度浮点数,在计算时不会丢失精度,占用空间有宽度决定,可用于存储比bigint更大的整数数据)
sql开发规范
1、建议使用预编译语句进行数据库操作
prepare stmt1 from 'select sqrt(pow(?,2) + pow(?,2)) as hypotenuse'; 定义预编译
set @a = 2;
set @b = 4;
execute stmt1 using@a,@b; 执行
deallocate prepare stmt1;释放预编译
只传参数,比传递sql语句更高效,相同语句可以一次解析,多次使用,提高处理效率(节约sql语句的解析成本),防范sql注入
2、避免数据类型的隐式转换 隐式转换会是索引失效
3、合理使用存在索引,而不是盲目增加索引,充分利用已经存在的索引 避免使用双%的查询条件 如 like '%123%' 一个sql只能利用到复合索引中的一列进行范围查询
4、使用left join 或not exists来优化not in
5、程序连接不同的数据库使用不同的账号,禁止跨库查询(为数据库迁移和分表分区留出余地,降低业务耦合度,避免权限过大而产生的安全风险)
6、禁止使用select *;消耗更多的cpu和io及网络带宽资源,无法使用覆盖索引,可以减少表结构变更带来的影响
7、禁止使用不含字段列表的insert语句 可以减少表结构变更带来的影响
8、禁止使用子查询,可以把子查询优化为join操作 子查询的结果集无法使用索引,子查询会产生临时表操作,如果子查询数据量大则严重影响效率,消耗过多的cpu和io资源
9、避免使用join关联太多的表 每join一个表会多占用一部分内存(join_buffer_size),会产生临时表操作,影响查询效率,mysql最多允许 关联61个表,建议不超过5个
10、减少同数据库的交互次数,数据库更适合处理批量数据,合并多个相同的操作到一起,可以提高处理效率,
11、使用 in代替or in的值不要超过500个, in操作可以有效的利用索引
12、禁止使用order by rand()进行随机排序 会把所有符合条件的数据装载到内存中进行排序,会消耗大量的cpu和io及内存资源,推荐在程序中获取一个随机值,然后从数据库中获取数据的方式
13、where从句中禁止对列进行函数转换和计算,对列进行函数转换或计算会导致无法使用索引,
14、使用union和union all 在明显不会有重复值时使用union all 而不是union union会把所有数据放到临时表中后在进行去重操作, union all不会再对结果集进行去重操作
15、拆分复杂的大sql为多个小sql mysql一个sql只能使用一个cpu进行计算,sql拆分后可以通过并行执行来提高处理效率
操作行为规范
1、对于超过100万行的批量写操作,要分批多次进行操作,大批量操作可能会造成严重的主从延迟,binlog日志为row格式时会产生大量的日志,避免产生大事务操作
2、对大表使用pt-online-schema-change修改表结构(会将原表复制出一个新表,并在原表上增加一个触发器,会将插入到原表的数据也插入到新表中,对新表进行修改后,会在原表上增加一个很短时间锁,同时把新表命名为原表,将原表删除掉) 避免大表修改产生的主从延迟,避免在对表字段进行修改时进行锁表
3、进行为程序使用的账号赋予super权限 当达到最大连接数限制时,还允许1个有super权限的用户连接,super权限只留给DBA处理问题的账号使用,对于程序连接数据库账号,遵循权限最小原则,程序使用数据库账号只能在一个db下使用,不准跨库,程序使用的账号原则上不准有drop权限