md54333的博客

为 SQL 语句注入 HINT 规则，是指无需修改 SQL 语句，通过 SF_INJECT_HINT 为该 SQL 注入 HINT 规则，随后该 SQL 按照注入的 HINT 规则运行的功能。通过 SF_INJECT_HINT 注入的 HINT 称为 INJECT HINT。

审计文件默认存放在数据库的 SYSTEM_PATH 指定的路径，即数据库所在路径。系统的启动、关闭、部分系统事件以及一些系统过程和函数的调用，此级别的审计无法也无需由用户进行设置，只要审计开关打开就会自动生成对应审计记录。单个审计文件的大小可以通过动态参数 AUDIT_MAX_FILE_SIZE 指定。系统级审计无法无需由用户进行设置，只要审计开关打开就会自动生成对应审计记录。TYPE：审计文件类型，0 表示删除普通审计文件，1 表示删除实时审计文件。语句级审计的动作只针对用户，不对应具体的数据库对象。

exec_policy=2表示执行事务出错时，忽略出错的操作后继续执行；ddl_continue=1表示DDL操作同步出错时，继续往下操作。如果执行卡住，删除bin/log下的日志以及bin目录下的dmhs_cpt.tmp。注意：mysql端的item表名用小写，DM端的用户名表名必须用大写。然后重启dmhs_server，再执行clear exec lsn。源端：Mysql8.0.35，RH7.5。源端cpt启动，目标端exec会自动启动。1、获取不到映射表的字段信息。目标端：DM8，麒麟V10。

exec_policy=2表示执行事务出错时，忽略出错的操作后继续执行；ddl_continue=1表示DDL操作同步出错时，继续往下操作。没有数据库可参考该步骤创建，否则略过。目标端：DM8，麒麟V10。源端：DM8，麒麟V10。

exec_policy=2表示执行事务出错时，忽略出错的操作后继续执行；ddl_continue=1表示DDL操作同步出错时，继续往下操作。把libdmoci.so上传到DM端的/dmhs/bin目录下。源端cpt启动，目标端exec会自动启动。没有数据库可参考该步骤创建，否则略过。源端：Oracle12C，RH7.5。目标端：DM8，麒麟V10。

查询转换是优化器自动做的，在生成执行计划之前，等价改写查询语句的形式，以便提升效率和产生更好的执行计划。观察执行计划，由于C2字段无索引，子查询X部分本应该走全表扫描，但是计划中却走了C1字段的索引。观察原始sql，T2的子查询是个非关联的子查询，完全可以把它生成一个独立的子计划。sql中使用过多的视图，会使sql变得复杂，优化器也难以生成最佳的执行计划，不能过度依赖优化器进行视图拆分。查询转换是指把经过语法、语义分析的查询块之间的连接类型、嵌套关系进行调整，生成一个更好的查询计划。

-SCOPE 参数为 2 表示只在 INI 文件中修改配置参数，此时可用来修改静态配置参数和动态配置参数。--SCOPE 参数为 1 表示在内存和 INI 文件中都修改参数值，此时只能修改动态的配置参数。--SCOPE 参数为 1 表示获取 INI 文件中配置参数的值。--SCOPE 参数为 1 表示获取 INI 文件中配置参数的值。--SCOPE 参数为 1 表示获取 INI 文件中配置参数的值。--SCOPE 参数为 2 表示获取内存中配置参数的值。//系统生成C2上的INDEX为33555481。

2、SQL 单独执行时间可能很快，在几百毫秒到几秒之间，但执行频率非常高，甚至达到每秒上百次，高并发下执行效率降低，很可能导致系统瘫痪，此类 SQL 是优化的首要对象。ET 功能默认关闭，可通过配置 INI 参数中的 ENABLE_MONITOR=1、MONITOR_SQL_EXEC=1 开启该功能。1、SQL 执行时间在十几秒到数十秒之间，但执行频率不高，此类 SQL 对数据库整体性能影响并不大，可以放到最后进行优化。执行 SQL 语句后，客户端会返回 SQL 语句的执行号。

使用 HINT IGNORE_ROW_ON_DUPKEY_INDEX 则可以忽略该冲突，冲突数据既不进行插入也不会报错，其他非冲突插入正常进行。T3,T1,T2 或 T1,T3,T2 不被考虑。

优化器会选择一张代价较小的表作为驱动表，另一张表作为被驱动表，驱动表的每条记录与被驱动表进行一次连接操作。Merge Join 是先将关联表的关联列各自做排序，然后从各自的排序表中抽取数据，到另一个排序表中做匹配。如果没有索引，随机读很致命，每次循环只能读一块，不能读多块。以一张表的连接列为哈希键，构造哈希表，另张表的连接列进行哈希探测，找到满足条件的记录。- 两个表都需要按照连接列排序，需要消耗大量的cpu和额外的内存。全连接的查询结果是左外连接和右外连接查询结果的并集。- 无驱动表之分，随机读很少。

频率直方图为列中的每个不同值维护一个行数信息，这种直方图适用于NDV（不同值个数）比较小的场景。可以想象，如果有一张表格记录了一家公司的全部员工信息（每一个人一行信息），对于“籍贯”这一栏，不同值的个数很小（全国约有40个省、直辖市和行政区)，我们可以为该列建立一个频率直方图，优化器通过该直方图可以知道该公司每个省或者直辖市的员工有多少人。继续考虑上面的员工信息表，如果表中有一列是“年纳税总额”，我们可以对该列收集等高直方图，从而很容易准确的估计出该公司“年纳税总额超过10万”的人数。

例如，可以对表上的 status 列的值在('A'，'H'，'O')放在一个分区，值在('B'，'I'，'P')放在另一个分区，以此类推；仅范围分区和 LIST 分区支持交换分区。哈希（hash）水平分区：通过指定分区编号来均匀分布数据的一种分区类型，通过在 I/O 设备上进行散列分区，使得这些分区大小基本一致；范围(range)水平分区：对表中的某些列上值的范围进行分区，根据某个值的范围，决定将该数据存储在哪个分区上；PARTITION p2 VALUES ('上海', '南京', '杭州'),

中文最多分词：可以将存在二义性的词划分出来，例如：“和服装”会生成“和”、“和服”、“服”、“服装”和“装”。中文最少分词：最少分词，其消除了存在二义性的词，即前面举例的文本分词的结果为“和”、“服装”两个词，这样可以减少大量冗余词的存储，能进行更准确的匹配。对于非结构化数据，即全文数据，要想实现检索，一般都是采用模糊查询的方式实现的。当用户填充全文索引时，系统才将定义了全文索引的文本列的内容进行分词，并根据分词结果填充索引。英文分词：即根据英文分隔符的分词，对超过 32 个字节的英文单词进行了拆分处理。

可以通过 ini 参数 TEMP_SIZE 配置大小、TEMP_SPACE_LIMIT 设置上限、存储过程 SP_TRUNC_TS_FILE 来收缩 TEMP 表空间文件（生产环境请谨慎使用）。SUM(A.TOTAL_SIZE)/1024.0/1024.0 TOTAL_M, --当前总量(包括扩展)SUM(A.DATA_SIZE) /1024.0/1024.0 DATA_SIZE_M --实际使用量。sum(page_size)*sf_get_page_size 缓冲池大小_G,

2.优化器基于字典信息的数据分布统计值、执行语句涉及到的表、索引和分区的存储特点来估算每个执行计划的代价。生成计划指计划生成器对给定的查询按照连接方式、连接顺序、访问路径生成不同的执行计划，选择代价最小的一个作为最终的执行计划。SAGR：流分组聚集，用于分组列是有序的情况下，可以使用流分组聚集，C1上已经创建了索引，SAGR2性能优于HAGR2。HAGR：分组聚集，用于分组列没有索引只能走全表扫描的分组聚集，C2列没有创建索引。SLCT：关系的“选择” 运算，用于查询条件的过滤。

混合表空间存储 HUGE 表是通过 HFS 存储机制来管理的，它相当于一个文件系统。为混合表空间指定一个 HUGE 数据文件路径，其实就是创建一个空的 HUGE 数据文件目录（系统中有一个默认的混合表空间 MAIN，其 HUGE 数据文件目录名为 HMAIN）。orders 表的区大小为 65536 行，文件大小为 64M，指定所在的混合表空间为 ts1，o_comment 列指定的区大小为不做统计信息，其它列（默认）都做统计信息，指定列 o_comment 列压缩类型为查询高压缩率，压缩级别为 9。

每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程可以由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。

在串行化隔离级别下，‌数据库管理系统会严格控制事务的执行顺序，通过加锁来实现的，‌如果一个事务正在修改数据，‌其他试图select或修改同一数据的事务将被阻塞，‌直到第一个事务完成。可重复读是Innodb的默认隔离级别，使用MVCC实现，可重复读情况下，不会出现脏读，不会读取到其他事务已提交的数据，多次读取结果一致，即可重复读。但是可能导致“幻读”。DM 数据库基于物理记录和回滚记录实现行级多版本支持，数据页中只保留物理记录的最新版本，通过回滚记录维护历史版本，所有事务针对特定的版本进行操作。

（3）BLANK_PAD_MODE：空格填充参数，是否要兼容 Oracle 进行设置，即在 BLANK_PAD_MODE = 0 的情况下，’A’ 和 ’A ’ 被认为是相同的值，参数为 1 的情况下，认为是两个不同的值，根据现场具体应用的需求进行设置。以上示例中，出现视图失败的情况，经查询是由于视图的查询字段中“percent”，是达梦中的关键字，在Oracle中不会出现报错，解决办法是把percent大写，双引号引起来，拿到达梦数据库中执行。当数据量比较大时，减小该参数的值可以减少内存的使用。

1 表示 ASC 升序排序时 NULL 值在最后返回， DESC 降序排序时 NULL 值在最前面返回， 在参数等于 1 的情况下， NULL 值的返回与 ORACLE 保持一致；2 表示 ASC 升序排序时 NULL 值在最前面返回， DESC 降序排序时 NULL 值在最后返回，在参数等于 2 的情况下， NULL 值的返回与 MYSQL 保持一致。⑧ 源一次读取行数：设置从数据源中读取数据时每次读取数据的行数，该参数决定内存中缓存结果集的大小，对于数据量很大的数据源，设置该参数，可以控制内存的使用。

它以事务号作为锁的对象，为每个活动事务生成一把TID锁，用于防止多个事务同时修改同一行记录。如表中第二行 第二列为“Y” ，表示如果某个事务已经加了 IS 锁时，其他事务还可以继续添加 IS 锁，第二行 第五列为“N” ，表示如果某个事务已经加了 IS 锁时，其他事务不能添加 X 锁。被阻塞的事务将一直挂起，直到持有锁的事务放弃锁定的资源为止。对象锁是 DM 新引入的一种锁，通过统一的对象 ID 进行封锁，将对数据字典的封锁和表锁合并为对象锁，以达到减少封锁冲突、提升系统并发性能的目的。

用户可以调用系统过程 SP_SET_SQLLOG_INI()或SP_DELETE_SQLLOG_INI_MODE()来动态修改 sqllog.ini 文件的内容，修改后可以调用系统过程 SP_REFRESH_SVR_LOG_CONFIG()更新内存中对应的参数值，以使所做的修改生效。利用动态视图 V$DM_SQLLOG_INI 可以查询 sqllog.ini 文件中的 SQL 日志配置参数，利用动态视图 V$DM_SQLLOG_CONFIG 可以查询内存中的 SQL 日志配置参数。

参数中指定以 Mount 方式拉起 dmserver。另外要注意，DMDSC 集群各节点实例的自动拉起是由各自本地的 dmcss 执行的，不是由守护进程执行，如果要打开 DMDSC 集群的自动拉起，需要再去配置 dmdcr.ini 中的自动拉起参数，为避免 dmcss 在所有配置步骤完成之前提前将 dmserver 自动拉起，这里先不修改 dmdcr.ini 配置。所有节点实例的 dmmal.ini 文件内容是一致的，配置完成后，拷贝到每个节点实例 dm.ini 中指定的 CONFIG_PATH 目录下。

在 DMDSC 故障处理机制下，一旦产生节点故障，登录到故障节点的所有连接将会断开，所有未提交事务将被强制回滚；（N>=1）和 AUTO_RECONNECT=2 表示使用服务名连接数据库时会选择“IP 地址和端口号”集合列表中第 N 个节点建立连接，只有当前节点无法建立连接时才会选择下一个节点进行连接，如果第 N 个节点恢复了，当前连接将自动切换到第 N 个节点上。，JDBC 专用，服务名连接数据库时，循环检测连接是否需要重置的时间间隔。，服务恢复，可以正常连接了，会进行切换。行号 NAME。

记录一下总结

事件日志信息格式为：时间 + 日志类型（INFO/WARNING/ERROR/FATAL）+ 进程（database）+ 进程 ID（P 开头）+ 线程（dm_sql_thd/main_thread 等）+ 日志内容。DMCSS 事件日志信息格式为：时间 + 日志类型（INFO/WARNING/ERROR/FATAL）+ 进程（dmcss）+ 进程 ID（P 开头）+ 线程 ID（T 开头）+ 日志内容。显示指定的组信息，如果没有指定 group_name，则显示所有组信息。强制退出指定组中的指定节点。

与正常 takeover 命令相比，强制接管时系统不会对故障主库与待接管备库的数据一致性进行检查，若接管前主备库的数据是一致的，则强制接管与正常 takeover 效果相同，接管成功后不会出现数据丢失的情况，故障主库重启后也能正常加回集群。若接管前主备库的数据不一致，则强制接管后会存在数据丢失，故障主库重启后无法加回集群，出现集群分裂。主库挂起后，连接主库的会话会挂住不切换新主库，设置参数SESS_FREE_IN_SUSPEND配置的时间，会话会自动断开老主库。此时，备库DW01切换成了primary。

DMINIT 执行完成后，会在 config_path 目录（/dm/config/DSC01_conf 和/dm/config/DSC02_conf）下生成配置文件 DM.INI 和 DMMAL.INI。将 111 上初始化库时产生的 DSC02 节点的配置文件（整个/dm/config/DSC02_conf 文件夹）复制到 112 机器的/dm/config/目录下。保存到 112 的/dm/config 下。在111机器上准备dminit.ini 配置文件，保存到/dm/config 目录下。

DM MPP主要针对海量数据的 OLAP 应用而研发，对普通的、并发量不大的一般 OLTP 或混合类型应用也适用，但不适合于高并发操作的 OLTP 类型应用。MPP 系统需要通过网络在各 EP 间传递数据，因此网络的带宽对于 MPP 系统的效率非常重要，建议配置千兆或万兆内部网络。将生成的 dmmpp.ctl 拷贝至另一 EP，保证 MPP 系统中所有 EP 的 dmmpp.ctl 完全相同。需要停止 DM MPP 系统的运行时，只需要停止每个 EP 的 DM 实例即可，没有特别的顺序要求。

修改 dmmonitor.ini 配置确认监视器，增加到 GRP1_LOCAL_01 和 GRP1_LOCAL_02 守护进程的 MON_DW_IP 配置项，需要找到 dmmal.ini 中对应的配置项信息，MON_DW_IP 中的 IP 信息和 dmmal.ini 配置项中的 MAL_HOST 一致，PORT 信息和 dmmal.ini 配置项中的 MAL_DW_PORT 配置项保持一致。增加异步备库 GRP1_LOCAL_01 和 GRP1_LOCAL_02 的 MAL 配置项。

守护进程开始广播自身和其监控实例的状态信息，结合自身信息和远程守护进程的广播信息，守护进程将本地实例 Open，并切换为 Open 状态。至此一主一备的实时数据守护系统搭建完毕，在搭建步骤和各项配置都正确的情况下，在监视器上执行 show 命令，可以监控到所有实例都处于 Open 状态，所有守护进程也都处于 Open 状态，即为正常运行状态。当前实例 GRP1_RT_01 是主库，需要向 GRP1_RT_02（实时备库）同步数据，因此实时归档的 ARCH_DEST 配置为 GRP1_RT_02。

动态添加归档要求数据库处于 MOUNT 状态，守护进程处于活动状态下不允许用户手动修改模式状态，因此需要先关闭守护进程，同时也是为了防止手动切换 MOUNT 状态后又被守护进程通知自动 Open，另外监视器配置也需要修改，因此在这里一并关闭。//临时修改ALTER_MODE_STATUS，允许用户手动修改模式状态，动态添加完毕后需要再改回原值。//临时关闭守护进程活动状态检测，允许用户手动修改模式状态，动态添加完毕后需要再改回原值。必须先修改主库，再修改备库，否则可能会引发主备数据同步失败导致主库挂起。

备库收到 Redo 日志（RLOG_PKG）后，将日志包加入日志重演任务系统，在日志包写入本地日志文件后，发送日志刷盘消息给主库，主库根据此消息确定是否需要推进 C_SEQNO 和 C_LSN。当出现硬件故障（掉电、存储损坏等）原因导致主库无法启动，或者是主库内部网卡故障导致主库短期不能恢复正常的情况下，剩余活动节点会自动启动选举流程，选出新的主库，其他节点仍然作为备库运行，选举完成后，多副本集群仍可对外提供服务。只要是当前事务操作时钟值 cur_seq 之前的已提交事务修改的数据，对当前事务都是可见的。

动态添加归档要求数据库处于 MOUNT 状态，守护进程处于活动状态下不允许用户手动修改模式状态，因此需要先关闭守护进程，同时也是为了防止手动切换 MOUNT 状态后又被守护进程通知自动 OPEN，另外监视器配置也需要修改，因此在这里一并关闭。当前实例 GRP1_RWW_01 是主库，需要向即时备库 GRP1_RWW_02/GRP1_RWW_03 同步数据，因此即时归档的 ARCH_DEST 分别配置为 GRP1_RWW_02 和 GRP1_RWW_03。192.168.0.141 内部通信 IP。

表空间是 DM 数据库的最大逻辑存储单元，表中的数据在逻辑上都是存放在表空间中，在物理上存放在表空间对应的物理数据文件。表空间由数据文件组成，表空间采用段、簇、页的方式进行管理。

如果此值为负，序列是下降的，如果此值为正，序列是上升的。6. 指定序列能生成的最小值，如果忽略 MINVALUE 子句，则升序序列的最小值缺省为 1，降序序列的最小值缺省为-9223372036854775808(0x8000000000000000)，若指定的最小值超出缺省最小值，则 DM 自动将最小值置为缺省最小值。对于升序序列，缺省值为序列的最小值，对于降序序列，缺省值为序列的最大值；7.CYCLE 该关键字指定序列为循环序列：当序列的值达到最大值/最小值时，序列将从最小值/最大值计数；

备份语句中指定的 INCREMENT 参数表示执行的备份类型为增量备份，不可省略。WITH BACKUPDIR 参数用来指定基备份集的搜索目录，如果基备份集不在默认备份目录或当前备份目录则该参数不可省略。上述示例中，增量备份 ts_increment_bak_02 若不指定备份集 ts_full_bak_01 作为基备份，那么默认会使用最近一次的备份集 ts_increment_bak_01 作为基备份。如果不指定该参数，会在备份搜索目录中搜索最近一次的完全备份或增量备份作为这次增量备份的基备份。

2.若在语句中指定 STRUCT 关键字，则执行表结构还原。表结构还原会根据备份集中备份表还原要求，对目标表定义进行校验，并删除目标表中已存在的二级索引和约束。3.若不指定 STRUCT 关键字，则执行表数据还原，表数据还原默认仅会将备份表中聚集索引上的数据进行还原。1.指定表名还原时数据库中必须存在该表，否则报错，不会从备份集判断是否存在目标表。与备份数据库与表空间不同，不需要备份归档日志，不存在增量备份之说。表备份和表还原恢复，都必须在联机状态下进行。

对象种类可为：CONSTRAINTS、INDEXES、ROWS、TRIGGERS、GRANTS、VIEWS、PROCEDURE、PACKAGE、SEQUENCE、TABLES。对象种类可为：CONSTRAINTS、INDEXES、ROWS、TRIGGERS、GRANTS、VIEWS、PROCEDURE、PACKAGE、SEQUENCE、TABLES。0：不导入表空间定义，1：导入表空间定义，2：校验导入文件的MD5值，并执行导入，4：校验导入文件的MD5值，但不执行导入。用于指定单个导出文件大小的上限。

DM8 中表（列存储表和堆表除外）都是使用 B 树索引结构管理的，每一个普通表都有且仅有一个聚集索引，当建表语句未指定聚集索引键时，DM8 的默认聚集索引键是 ROWID。以上可见，建了函数索引idx_func_t1为to_char(HIRE_DATE,'yyyy-mm-dd')后，再次查询，执行计划走索引idx_func_t1，查询效率有提升。新建聚集索引会重建这个表以及其所有索引，包括二级索引、函数索引，是一个代价非常大的操作。如果没有函数索引，那么任何在列上执行了函数的查询都不能使用这个列的索引。