D2cOneluo的博客

随时更新1、不要用聊天工具发sql语句2.操作数据之前先select一下3.操作数据之前注意量级4.update时更新修改人和修改时间5.多用逻辑删除，少用物理删除6.操作数据之前先做备份7.表名前面一定要带库名8.新加字段一定要注意非空或者主键限制无论是开发、测试，还是DBA，都难免会涉及到数据库的操作，比如：创建某张表，添加某个字段、添加数据、更新数据、删除数据、查询数据等等。正常情况下还好，但如果操作数据库时出现失误，比如：删除订单数据时where条件写错了，导致多删了很多用户订单。更新会员

以下为个人备份存储过程、日志包范本，无实际学习概念，别浪费时间看了。1、建表语句drop table if exists lee_joblog;create table lee_joblog( proname string default null ,tabname string default null ,step string default null ,accdate string default null ,status string

分析函数 NTILESELECT a, NTILE(10) OVER (ORDER BY a ) FROM lee;效果如下：

个人在编写sql存储过程的时候有使用分号的习惯，在inceptor的默认配置中也会识别分号为sql结束，但是beeline中默认的并不是分号为结束，所以当你用beeline命令进行编译存储时就会报错，如果要想在存储过程中使用分号应该进行如下的设置1.在beeline客户端中使用分号方法：1）在plsql 文件头部，加上一条set 命令：CLI+HiveServer1：set plsql.use.slash=true;Beeline+HiveServer2：!set plsqlUseSlash tru

hdfs查看所有数据磁盘使用率hdfs dfs -du -s -h /inceptor1/user/hive/warehouse/*

业务场景：移库的时候需要导出库内的所有脚本，但是waterdrop无法全量导出（之前用正版可以，这边甲方抠搜的，用的老版本的那种，你懂得），没办法手动刀把；源码：export.cfgserver112='"连接方式"'server37='"连接方式"'export.sh#/bin/bash##############################################...

业务场景：创建的SRC 表需要一个离散度足够高的主键，此时最好的办法就是创建一个随机数，尝试使用 sequence 效率忽高忽低，咨询星环售后也给不出具体原因，只是说不建议使用，所以用java创建一个 函数返回全局随机不重复值（星环有自己的uuid（）包，如果可以让星环进行发布的话最好）。源码：CREATE OR REPLACE FUNCTION lee_uuid()RETURN STRI...

#一共分为两部分：##1、将 hadoop 数据库中的表数据抽到 TDH 服务器。beeline -u "jdbc:hive2://bd-dn07:10000/picrm;principal=hive/bd-dn07@TDH;kuser=picrm@TDH;keytab=/home/picrm/TDH-Client/picrm.keytab;auth=kerberos;krb5conf=/ho...

建表语句：CREATE TABLE lee_temp(id STRING ,name STRING)COMMENT '临时表'CLUSTERED BY 'id'INTO 11 BUCKETSSTORED AS ORCTBLPROPERTIES('TRANSACTIONAL' = 'TRUE');循环体：DECLAREi NUMBER;BEGINi := 1;...