2.0 管理端元数据库dble_information

2.0.0 简介

dble_information 提供了一系列表格来描述dble内部一些元数据，可以通过管理端口连接dble之后，use dble_information之后查询内部的元数据信息。
以下是这些表格的详述:
支持表格的投影(select)
支持表格的选择(where)
支持表格的连接(join)
支持表格的非关联where子查询
支持聚合运算
支持排序
支持标量函数
支持 use dble_information
支持 show tables [ like ]
支持 desc|describe table xxx
支持 show databases; 注意和show @@database不同
部分表格支持INSERT/UPDATE/DELETE

2.0.1 dble_information下的表

2.0.1.0 version

• 表名：version

• 含义：dble版本号

• 字段：

• 数据行：

    - dble的版本号
  

2.0.1.1 dble_variables

• 表名：dble_variables

• 含义：全局设置

• 字段：

• 数据行：

    - version_comment： 版本信息
    - isOnline: 在线状态
    - heap_memory_max： 堆内存的最大限制(mb)
    - direct_memory_max: 通过-XX:MaxDirectMemorySize设置的值
  
    附加项：show @@sysparam中的所有配置
  

2.0.1.2 dble_status

• 表名：dble_status

• 含义：全局状态

• 字段：

• 数据行：

    - uptime: dble启动的时间长度(秒)
    - current_timestamp: dble系统的当前时间
    - startup_timestamp: dble系统的启动时间
    - heap_memory_max: 堆内存的最大限制
    - heap_memory_used: 堆内存的使用量
    - heap_memory_total: 堆内存的总量
    - config_reload_timestamp: 上次config加载时间  
    - direct_memory_max: 通过-XX:MaxDirectMemorySize设置的值
    - direct_memory_pool_size: 内存池的大小，等于bufferpoolpagesize和bufferpoolpagenumber的乘积
    - direct_memory_pool_used: 已经使用的内存池中的directmemory内存
    - questions: 请求数
    - transactions: 事务数
  

2.0.1.3 thread pool系列

2.0.1.3.1 dble_thread_pool

• 表名：dble_thread_pool

• 含义：线程池使用情况

• 字段：

• 数据行： 略

• 注意：这里的 active_count/waiting_task_count 都是只统计 线程数 的变化。但是，dble 针对某些线程池（frontWorker和writeToBackendWorker）采用了常驻线程的实现方式，故线程数不变，使得这些字段不能反映 "是否消费了任务" 以及 "消费了多少了个任务" ，如需获得线程池执行任务的统计情况，可以考虑使用dble_thread_pool_task表。

2.0.1.3.2 dble_thread_pool_task

• 表名：dble_thread_pool_task

• 含义：线程池的任务消费情况

• 字段：

• 数据行： 略

2.0.1.4 dble_processor

• 表名：dble_processor

• 含义：processor信息

• 字段：

• 数据行：略

2.0.1.5 dble_sharding_node

• 表名：dble_sharding_node

• 含义：sharding_node配置及状态

• 字段：

• 数据行：略

2.0.1.6 dble_db_group

• 表名：dble_db_group

• 含义：db_group配置及状态

• 字段：

• 数据行：略

2.0.1.7 dble_db_instance

• 表名：dble_db_instance

• 含义：db_instance配置及状态

• 字段：

• 数据行：略

2.0.1.8 dble_schema

• 表名：dble_schema

• 含义：schema配置

• 字段：

• 数据行：略

2.0.1.9 session_variables

• 表名：session_variables

• 含义：前端连接变量

• 字段：

• 数据行：

    已知变量 ：
    - tx_read_only：只读事务(mysql8.0)
    - transaction_read_only：只读事务(mysql5.7)
    - character_set_client：字符集
    - collation_connection：字符集
    - character_set_results：字符集
    - tx_isolation_level：隔离级别(mysql8.0)
    - transaction_isolation：隔离级别 (mysql5.7)
    - autocommit：自动提交
    - 其他被特别设置的变量
  

2.0.1.10 session_connections

• 表名：session_connections

• 含义：前端连接

• 字段：

• 数据行：略

2.0.1.11 backend_variables

• 表名：backend_variables

• 含义：后端连接变量

• 字段：

• 数据行：

    已知行：
    - tx_read_only, 只读事务(mysql8.0)
    - transaction_read_only, 只读事务(mysql5.7)
    - character_set_client, 字符集
    - collation_connection, 字符集
    - character_set_results, 字符集
    - tx_isolation_level, 隔离级别(mysql8.0)
    - transaction_isolation, 隔离级别(mysql5.7)
    - autocommit, 自动提交
    - 其他被特别设置的变量
  

2.0.1.12 backend_connections

• 表名：backend_connections

• 含义：后端连接

• 字段：

• 数据行：略

2.0.1.13 dble_table系列

2.0.1.13.0 dble_table

• 表名：dble_table

• 含义：table基本信息

• 字段：

• 逻辑主键
  name、schema

• 数据行：略

2.0.1.13.1 dble_global_table

• 表名：dble_global_table

• 含义：全局表信息

• 字段：

• 数据行：略

2.0.1.13.2 dble_sharding_table

• 表名：dble_sharding_table

• 含义：分片表信息

• 字段：

• 数据行：略

2.0.1.13.3 dble_child_table

• 表名：dble_child_table

• 含义：分片子表信息

• 字段：

• 数据行：略

2.0.1.13.4 dble_table_sharding_node

• 表名：dble_table_sharding_node

• 含义：表和sharding_node关联信息

• 字段：

  列名	主键	注释
  id	true	dble_table的id字段
  sharding_node	true	分片节点
  order		sharding_node的顺序(对拆分表意义重大，从0开始计数)

• 数据行：略

2.0.1.14 dble_algorithm

• 表名：dble_algorithm

• 含义：拆分算法的配置

• 字段：

  列名	主键	注释
  name	true	名称
  key	true	属性名称
  value		属性值
  is_file		mapfile的显示格式（true：file，false：content）有些算法由于使用了mapfile，可能导致属性过多，这种情况最多展示1024字节，超过则显示文件名称

• 数据行：略

2.0.1.15 dble_entry系列

2.0.1.15.0 dble_entry

• 表名：dble_entry

• 含义：登录入口表(目前是用户或者用户+租户的模式)

• 字段：

• 数据行：略

2.0.1.15.1 dble_entry_schema

• 表名：dble_entry_schema

• 含义：分库用户对应的schema的关系表

• 字段：

• 数据行：略

2.0.1.15.2 dble_rw_split_entry

• 表名：dble_rw_split_entry

• 含义：分库用户对应的schema的关系表

• 字段：

• 逻辑主键
  username、conn_attr_key、conn_attr_value

• 数据行：略

2.0.1.15.3 dble_entry_table_privilege

• 表名：dble_entry_table_privilege

• 含义：分库用户的对于表的privilege权限

• 字段：

• 数据行：略

2.0.1.16 dble_blacklist

• 表名：dble_blacklist

• 含义：黑名单信息

• 字段：

• 数据行：略

2.0.1.17 processlist

• 表名：processlist

• 含义：查看前端连接和后端连接对应关系(若前端连接没有对应的后端连接，显示NULL)

• 字段：

• 数据行：略(类似show @@processlist)

2.0.1.18 dble_thread_usage

• 表名：dble_thread_usage

• 含义：线程使用率

• 字段：

• 数据行：略(类似show @@thread_used;)

2.0.1.19 dble_reload_status

• 表名：dble_reload_status

• 含义：最近的reload信息

• 字段：

• 数据行：略(类似show @@reload_status)

2.0.1.20 dble_xa_session

• 表名：dble_xa_session

• 含义：后端重试xa事务信息

• 字段：

• 数据行：略(show @@session.xa)

2.0.1.21 dble_ddl_lock

• 表名：dble_ddl_lock

• 含义：当前dble内部未释放的ddl

• 字段：

• 数据行：略(类似show @@ddl)

2.0.1.22 sql_statistic_by_frontend_by_backend_by_entry_by_user

• 表名：sql_statistic_by_frontend_by_backend_by_entry_by_user

• 含义：统计前端业务用户下发sql至分片（后端节点）的执行情况

• 字段：

• 数据如：

  mysql> select  * from sql_statistic_by_frontend_by_backend_by_entry_by_user;
  +-------+------+---------------+--------------+--------------+---------------+-------------+----------+---------+---------+------------------+-----------------+-----------------+------------------+-----------------+-----------------+------------------+-----------------+-----------------+------------------+-----------------+-----------------+-------------------------+
  | entry | user | frontend_host | backend_host | backend_port | sharding_node | db_instance | tx_count | tx_rows | tx_time | sql_insert_count | sql_insert_rows | sql_insert_time | sql_update_count | sql_update_rows | sql_update_time | sql_delete_count | sql_delete_rows | sql_delete_time | sql_select_count | sql_select_rows | sql_select_time | last_update_time        |
  +-------+------+---------------+--------------+--------------+---------------+-------------+----------+---------+---------+------------------+-----------------+-----------------+------------------+-----------------+-----------------+------------------+-----------------+-----------------+------------------+-----------------+-----------------+-------------------------+
  |     3 | test | 127.0.0.1     | 10.186.63.8  |        24801 | dn1           | instanceM1  |        1 |       1 |   15293 |                0 |               0 |               0 |                0 |               0 |               0 |                0 |               0 |               0 |                1 |               1 |           15293 | 2021-07-09 11:18:10.525 |
  |     3 | test | 127.0.0.1     | 10.186.63.7  |        24801 | dn2           | instanceM2  |        1 |       3 |   13819 |                0 |               0 |               0 |                0 |               0 |               0 |                0 |               0 |               0 |                1 |               3 |           13819 | 2021-07-09 11:18:10.525 |
  +-------+------+---------------+--------------+--------------+---------------+-------------+----------+---------+---------+------------------+-----------------+-----------------+------------------+-----------------+-----------------+------------------+-----------------+-----------------+------------------+-----------------+-----------------+-------------------------+
  2 rows in set (0.00 sec)
  

2.0.1.23 sql_statistic_by_table_by_user_by_entry

• 表名：sql_statistic_by_table_by_user_by_entry

• 含义：统计前端业务用户下发sql各个表的情况

• 字段：

• 数据如：

  mysql> select * from sql_statistic_by_table_by_user_by_entry;
  +-------+------+---------------------+------------------+-----------------+-----------------+------------------+-----------------+-----------------+------------------+-----------------+-----------------+------------------+-----------------+--------------------------+-----------------+-------------------------+
  | entry | user | table               | sql_insert_count | sql_insert_rows | sql_insert_time | sql_update_count | sql_update_rows | sql_update_time | sql_delete_count | sql_delete_rows | sql_delete_time | sql_select_count | sql_select_rows | sql_select_examined_rows | sql_select_time | last_update_time        |
  +-------+------+---------------------+------------------+-----------------+-----------------+------------------+-----------------+-----------------+------------------+-----------------+-----------------+------------------+-----------------+--------------------------+-----------------+-------------------------+
  |     3 | test | testdb.tb_jump_hash |                0 |               0 |               0 |                0 |               0 |               0 |                0 |               0 |               0 |                1 |               4 |                        4 |          290440 | 2021-07-09 11:18:10.536 |
  |     3 | test | null                |                0 |               0 |               0 |                0 |               0 |               0 |                0 |               0 |               0 |                1 |               1 |                        0 |            2131 | 2021-07-09 11:09:30.755 |
  +-------+------+---------------------+------------------+-----------------+-----------------+------------------+-----------------+-----------------+------------------+-----------------+-----------------+------------------+-----------------+--------------------------+-----------------+-------------------------+
  2 rows in set (0.01 sec)
  

2.0.1.24 sql_statistic_by_associate_tables_by_entry_by_user

• 表名：sql_statistic_by_associate_tables_by_entry_by_user

• 含义：统计前端业务用户下发sql关联表的情况

• 字段：

• 数据如：

  mysql> select * from sql_statistic_by_associate_tables_by_entry_by_user;
  +-------+------+-----------------------------------+------------------+-----------------+--------------------------+-----------------+-------------------------+
  | entry | user | associate_tables                  | sql_select_count | sql_select_rows | sql_select_examined_rows | sql_select_time | last_update_time        |
  +-------+------+-----------------------------------+------------------+-----------------+--------------------------+-----------------+-------------------------+
  |     3 | test | testdb.tabler,testdb.tb_jump_hash |                1 |             168 |                       46 |           92004 | 2021-07-09 11:20:16.392 |
  +-------+------+-----------------------------------+------------------+-----------------+--------------------------+-----------------+-------------------------+
  1 row in set (0.00 sec)
  

2.0.1.25 sql_log

• 表名：sql_log

• 含义：采样统计前端业务用户下发sql

• 字段：

• 数据如：

  mysql> select * from sql_log;
  +--------+----------------------------------+----------------------------------+----------+-------+-------+------+-------------+-------------+------+---------------+---------------------+----------+
  | sql_id | sql_stmt                         | sql_digest                       | sql_type | tx_id | entry | user | source_host | source_port | rows | examined_rows | start_time          | duration |
  +--------+----------------------------------+----------------------------------+----------+-------+-------+------+-------------+-------------+------+---------------+---------------------+----------+
  |      1 | show databases                   | show databases                   | Show     |     1 |     3 | test | 127.0.0.1   |        8066 |    7 |             0 | 2021-07-09 11:09:30 |  7919460 |
  |      2 | show tables                      | show tables                      | Show     |     2 |     3 | test | 127.0.0.1   |        8066 |   32 |             0 | 2021-07-09 11:09:30 | 14972767 |
  |      3 | select @@version_comment limit 1 | SELECT @@version_comment LIMIT ? | Select   |     3 |     3 | test | 127.0.0.1   |        8066 |    1 |             0 | 2021-07-09 11:09:30 |  2131628 |
  |      4 | show tables                      | show tables                      | Show     |     4 |     3 | test | 127.0.0.1   |        8066 |   32 |             0 | 2021-07-09 11:09:34 |  1428683 |
  +--------+----------------------------------+----------------------------------+----------+-------+-------+------+-------------+-------------+------+---------------+---------------------+----------+
  4 rows in set (0.04 sec)
  

2.0.1.26 sql_log_by_tx_by_entry_by_user

• 表名：sql_log_by_tx_by_entry_by_user

• 含义：sql log汇总统计

• 字段：

• 数据如：

  mysql> select * from sql_log_by_tx_by_entry_by_user;
  +-------+-------+------+-------------+-------------+---------+----------+-------------+-----------+---------------+
  | tx_id | entry | user | source_host | source_port | sql_ids | sql_exec | tx_duration | busy_time | examined_rows |
  +-------+-------+------+-------------+-------------+---------+----------+-------------+-----------+---------------+
  |     1 |     3 | test | 127.0.0.1   |        8066 | 1       |        1 |     7919460 |   7919460 |             0 |
  |     2 |     3 | test | 127.0.0.1   |        8066 | 2       |        1 |    14972767 |  14972767 |             0 |
  |     3 |     3 | test | 127.0.0.1   |        8066 | 3       |        1 |     2131628 |   2131628 |             0 |
  |     4 |     3 | test | 127.0.0.1   |        8066 | 4       |        1 |     1428683 |   1428683 |             0 |
  +-------+-------+------+-------------+-------------+---------+----------+-------------+-----------+---------------+
  4 rows in set (0.05 sec)
  

2.0.1.27 sql_log_by_digest_by_entry_by_user

• sql_log_by_digest_by_entry_by_user

• 含义：sql log汇总统计

• 字段：

• 数据如：

  mysql> select * from sql_log_by_digest_by_entry_by_user;
  +----------------------------------+-------+------+------+----------+------+---------------+--------------+
  | sql_digest                       | entry | user | exec | duration | rows | examined_rows | avg_duration |
  +----------------------------------+-------+------+------+----------+------+---------------+--------------+
  | SELECT @@version_comment LIMIT ? |     3 | test |    1 |  2131628 |    1 |             0 | 2131628.0000 |
  | show databases                   |     3 | test |    1 |  7919460 |    7 |             0 | 7919460.0000 |
  | show tables                      |     3 | test |    2 | 16401450 |   64 |             0 |  714341.5000 |
  +----------------------------------+-------+------+------+----------+------+---------------+--------------+
  3 rows in set (0.02 sec)
  

2.0.1.28 sql_log_by_tx_digest_by_entry_by_user

• sql_log_by_tx_digest_by_entry_by_user

• 含义：sql log汇总统计

• 字段：

• 数据如：

  mysql> select * from sql_log_by_tx_digest_by_entry_by_user;
  +----------------------------------+------+------+-------+----------+-------------+-------------+---------+-------------+-----------+---------------+
  | tx_digest                        | exec | user | entry | sql_exec | source_host | source_port | sql_ids | tx_duration | busy_time | examined_rows |
  +----------------------------------+------+------+-------+----------+-------------+-------------+---------+-------------+-----------+---------------+
  | SELECT @@version_comment LIMIT ? |    1 | test |     3 |        1 | 127.0.0.1   |        8066 | 3       |     2131628 |   2131628 |             0 |
  | show databases                   |    1 | test |     3 |        1 | 127.0.0.1   |        8066 | 1       |     7919460 |   7919460 |             0 |
  | show tables                      |    2 | test |     3 |        2 | 127.0.0.1   |        8066 | 2,4     |    16401450 |  16401450 |             0 |
  +----------------------------------+------+------+-------+----------+-------------+-------------+---------+-------------+-----------+---------------+
  3 rows in set (0.03 sec)
  

2.0.1.29 dble_config

• 表名：dble_config

• 含义：当前dble内存中的配置信息（db、sharding、user、sequence）

• 字段：

• 数据行：略
• 使用方式见： dble_config表

2.0.1.30 dble_xa_recover

• 表名：dble_xa_recover

• 含义：查看所有存活的主节点下XA情况

• 字段：

• 数据行：略

2.0.1.31 dble_flow_control

• 表名：dble_flow_control

• 含义：查看所有连接的流量控制状态

• 字段：

• 数据行：略

2.0.1.32 session_connections_active_ratio

• 表名：session_connections_active_ratio

• 含义：查看前端连接分别在 近30s/1min/5min 期间的繁忙率
  实际以毫秒计算，比如：近30s繁忙时间为15000ms，则繁忙率：(15000ms/30000ms)*100%=50%

• 字段：

• 数据行：略

2.0.1.33 session_connections_associate_thread

• 表名：session_connections_associate_thread

• 含义：查看当前时间前端连接使用的线程情况

• 字段：

• 数据行：略

2.0.1.34 backend_connections_associate_thread

• 表名：backend_connections_associate_thread

• 含义：查看当前时间后端连接使用的线程情况

• 字段：

• 数据行：略

2.0.1.35 dble_cluster_renew_thread

• 表名：dble_cluster_renew_thread

• 含义：集群下的renew线程

• 字段：

• 数据行：略

2.0.1.32 recycling_resource

• 表名：recycling_resource

• 含义：查看延迟关闭的资源

• 字段：

• 数据行：略

2.0.1.33 dble_memory_resident

• 表名：dble_memory_resident

• 含义：显示当前未回收的堆外内存，仅在开启enableMemoryBufferMonitor后有效

• 字段：

• 数据行：略

2.0.1.34 dble_ap_node

• 表名：dble_ap_node

• 含义：ap_node配置及状态

• 字段：

• 数据行：略

2.0.2 支持INSERT/UPDATE/DELETE的语法&表格

为满足读写分离的场景，对部分配置表格支持增删改功能

2.0.2.0 INSERT Syntax

INSERT 
    [INTO] tbl_name 
    [(col_name [, col_name] ...)]
    {VALUES | VALUE} (value_list) [, (value_list)] ... 

INSERT  
    [INTO] tbl_name 
    SET assignment_list

注意：

• 不支持 INSERT ...SELECT ,LOW_PRIORITY,DELAYED,HIGH_PRIORITY,IGNORE,ON DUPLICATE KEY UPDATE,PARTITION

2.0.2.1 UPDATE Syntax

UPDATE table_reference 
    SET assignment_list 
    WHERE where_condition
value:
    {expr | DEFAULT}
assignment:
    col_name = value
assignment_list:
    assignment [, assignment]

注意：

• 不支持多表更新
• 不支持子查询
• 不支持修改主键（物理主键、逻辑主键）
• 不支持LOW_PRIORITY，IGNORE，ORDER BY，LIMIT ,PARTITION
• 不支持不带条件（where）
• 不支持别名

2.0.2.2 DELETE Syntax

DELETE FROM tbl_name WHERE where_condition

注意：

• 不支持多表删除
• 不支持子查询
• 不支持LOW_PRIORITY，IGNORE，ORDER BY，LIMIT ,PARTITION
• 不支持不带条件（where）
• 不支持别名

2.0.2.3 TRUNCATE Syntax

TRUNCATE [TABLE] tbl_name

注意：

• 暂无

2.0.2.4 支持INSERT/UPDATE/DELETE的表格

2.0.2.4.0 dble_db_group

• 不可写列：active

2.0.2.4.1 dble_db_instance

• 不可写列：active_conn_count、idle_conn_count、read_conn_request、write_conn_request、last_heartbeat_ack_timestamp、last_heartbeat_ack、heartbeat_status、heartbeat_failure_in_last_5min

注：由于dble_db_group、dble_db_instance的结构特殊性（整体存储在配置文件db.xml文件中），所以插入一个新的Mysql实例组时需先插入dble_db_group，紧接着插入相对应的dble_db_instance，才能保证实例组准确落盘；如果不遵循该插入顺序会导致数据不一致等未知问题

2.0.2.4.2 dble_rw_split_entry

• 不可写列：id、blacklist、type

2.0.2.4.3 dble_thread_pool

• 只支持UPDATE，不支持INSERT/DELETE
• 只能更新列：core_pool_size，其余列不可更新

注：

1、由于JDK原生线程池（ThreadPoolExecutor）扩缩容机制问题，新建的线程和即将被回收的线程需要一定的时机才会被处理，所以设置core_pool_size后可能并不是立即生效，有一定的延迟性

2、不支持调整AIO场景下的NIOFrontRW 、NIOBackendRW参数，只支持NIO场景下的NIOFrontRW 、NIOBackendRW参数

3、避免在高并发的时候调整线程池数目

2.0.2.5 支持TRUNCATE的表格

sql_statistic_by_frontend_by_backend_by_entry_by_user、sql_statistic_by_table_by_user_by_entry、sql_statistic_by_associate_tables_by_entry_by_user、 sql_log