【PostgreSQL创建索引的锁分析和使用注意】

1.1 创建普通B-tree索引的整体流程

如下是梳理的创建普通B-tree索引的大概流程,可供参考。

1.校验新索引的Catalog元数据|语法解析  ---将创建索引的sql解析成IndexStmt结构|校验B-Tree的handler   -----校验内核是否支持该类型的索引,在pg_am中查找"btree"对应的handler|校验索引列及比较函数   ----查找pg_attribute,校验create index中指定的索引列是否存在,如果存在记录attno,并且根据atttypid(表示表中列的字段类型)在pg_opclass里查找对应的比较函数2.在文件系统中创建索引文件|生成oid  ---为新的索引文件生成唯一oid,过程是:生成一个新的oid,然后查找pg_class的索引,如果不存在就返回这个oid|更新本地的relcache   ---正在创建的relation添加到relcache|创建索引文件以及写xlog   ----文件系统中生成新的文件 base/xxx/xxx。xlog记录类型为XLogInsert(RM_SMGR_ID, XLOG_SMGR_CREATE | XLR_SPECIAL_REL_UPDATE)3.创建新索引的元数据|索引作为对象的元数据写入到pg_class |索引文件引用的列插入pg_attribute|索引本身相关信息插入pg_index|relcache失效,invalid所有heap相关的元数据  ---为了使catalog元数据的变更对所有进程生效|记录该索引对heap的依赖,对opclass的依赖等等插入pg_depend|使得新索引文件相关的relcache生效4.用函数btbuild构建B-tree索引|通过index的索引列构建排序时需要用到的sortkey,扫描tuple生成索引元组数组| 构建B+树叶节点|对索引元组执行排序|将排序成功的结点依次插入到B-Tree中,自下向上构建B-Tree索引page --依次读取排好序的tuple,填充到B-Tree的叶子节点上,自下向上插入B-Tree

1.2 锁相关介绍

PostgreSQL里有很多可以加锁的对象:表、单个页、单个元组、事务ID(包括虚拟和永久ID)和普通数据库对象等等,常规锁的locktype主要有以下几种。有时候通过pg_locks查询的时候,根据pid会查到许多的锁,但是这些锁并不一定都是加在表上的,根据locktype以及relation过滤出不同对象上的锁。

/** LOCKTAG is the key information needed to look up a LOCK item in the* lock hashtable.  A LOCKTAG value uniquely identifies a lockable object.** The LockTagType enum defines the different kinds of objects we can lock.* We can handle up to 256 different LockTagTypes.*/
typedef enum LockTagType
{LOCKTAG_RELATION,			/* whole relation */LOCKTAG_RELATION_EXTEND,	/* the right to extend a relation */LOCKTAG_DATABASE_FROZEN_IDS,	/* pg_database.datfrozenxid */LOCKTAG_PAGE,				/* one page of a relation */LOCKTAG_TUPLE,				/* one physical tuple */LOCKTAG_TRANSACTION,		/* transaction (for waiting for xact done) */LOCKTAG_VIRTUALTRANSACTION, /* virtual transaction (ditto) */LOCKTAG_SPECULATIVE_TOKEN,	/* speculative insertion Xid and token */LOCKTAG_OBJECT,				/* non-relation database object */LOCKTAG_USERLOCK,			/* reserved for old contrib/userlock code */LOCKTAG_ADVISORY			/* advisory user locks */
} LockTagType;

image20240104174056577.png

如下是PostgreSQL里的常规锁,其中AccessShareLock、RowShareLock、RowExclusiveLock属于弱锁,ShareLock、ShareRowExclusiveLock、ExclusiveLock 、AccessExclusiveLock属于强锁。

/* NoLock is not a lock mode, but a flag value meaning "don't get a lock" */
#define NoLock 0
#define AccessShareLock 1 /* SELECT */
#define RowShareLock 2 /* SELECT FOR UPDATE/FOR SHARE */
#define RowExclusiveLock 3 /* INSERT, UPDATE, DELETE */
#define ShareUpdateExclusiveLock 4 /* VACUUM (non-FULL),ANALYZE, CREATE * INDEX CONCURRENTLY */
#define ShareLock 5 /* CREATE INDEX (WITHOUT CONCURRENTLY) */
#define ShareRowExclusiveLock 6 /* like EXCLUSIVE MODE, but allows ROW * SHARE */
#define ExclusiveLock 7 /* blocks ROW SHARE/SELECT...FOR * UPDATE */
#define AccessExclusiveLock 8 /* ALTER TABLE, DROP TABLE, VACUUM * FULL, and unqualified LOCK TABLE */

1.3 创建普通索引表上需要获取的锁(ShareLock)

使用如下的语句进行测试

postgres=# create table tab_test_1(id int);
CREATE TABLE
postgres=# insert into tab_test_1 values(1);
INSERT 0 1
postgres=# insert into tab_test_1 values(2);
INSERT 0 1
postgres=# insert into tab_test_1 values(3);
INSERT 0 1
postgres=# begin;
BEGIN
postgres=*# create index idx_1 on tab_test_1(id);
CREATE INDEX
postgres=*#

普通创建索引获取ShareLock,是5级锁,这里通过SQL可以查询到,其实在创建索引的过程中,不仅原始的表上会申请锁。对应的几张系统表和系统表索引上也会申请锁,因为创建索引也涉及到系统表元数据的校验和更改,这里访问pg_namespace的意义在于:索引将与其父表位于同一命名空间中。

当有多个事务同时对表进行读操作时,如果不做任何锁定,会导致数据不一致。例如,一个事务在读取数据时,另一个事务做了修改,然后第一个事务读到的数据已经不是最新的。这时候就需要使用AccessShareLock来控制并发的读取操作,保持数据的一致性。

postgres=# select l.locktype,ns.nspname,a.relname,a.relkind,l.pid,l.mode,l.granted,p.query_start,p.query,p.state from pg_locks l,pg_stat_activity p,pg_class a,pg_namespace ns where l.locktype='relation' and l.pid=p.pid and query not like '%pg_stat_activity%' and l.relation=a.oid and a.relnamespace=ns.oid;locktype |  nspname   |              relname              | relkind |  pid   |      mode       | granted |          query_start          |query                 |        state
----------+------------+-----------------------------------+---------+--------+-----------------+---------+-------------------------------+-----------
----------------------------+---------------------relation | public     | tab_test_1                        | r       | 409706 | ShareLock       | t       | 2024-01-04 11:48:11.807816+08 | create index idx_1 on tab_test_1(id); | idle in transactionrelation | pg_catalog | pg_class                          | r       | 409706 | AccessShareLock | t       | 2024-01-04 11:48:11.807816+08 | create index idx_1 on tab_test_1(id); | idle in transactionrelation | pg_catalog | pg_namespace                      | r       | 409706 | AccessShareLock | t       | 2024-01-04 11:48:11.807816+08 | create index idx_1 on tab_test_1(id); | idle in transactionrelation | pg_catalog | pg_namespace_nspname_index        | i       | 409706 | AccessShareLock | t       | 2024-01-04 11:48:11.807816+08 | create index idx_1 on tab_test_1(id); | idle in transactionrelation | pg_catalog | pg_namespace_oid_index            | i       | 409706 | AccessShareLock | t       | 2024-01-04 11:48:11.807816+08 | create index idx_1 on tab_test_1(id); | idle in transactionrelation | pg_catalog | pg_class_oid_index                | i       | 409706 | AccessShareLock | t       | 2024-01-04 11:48:11.807816+08 | create index idx_1 on tab_test_1(id); | idle in transactionrelation | pg_catalog | pg_class_relname_nsp_index        | i       | 409706 | AccessShareLock | t       | 2024-01-04 11:48:11.807816+08 | create index idx_1 on tab_test_1(id); | idle in transactionrelation | pg_catalog | pg_class_tblspc_relfilenode_index | i       | 409706 | AccessShareLock | t       | 2024-01-04 11:48:11.807816+08 | create index idx_1 on tab_test_1(id); | idle in transaction
(8 rows)

1.4 关于ShareLock的其他场景

在源码的注释部分,可以看到CREATE INDEX (WITHOUT CONCURRENTLY) 的时候会在表上申请ShareLock,这和我们的测试结果相符合,但是ShareLock不仅仅创建索引的时候会获取,当多个事务更新同一行的时候,也会申请ShareLock,不过这个ShareLock不是在表级别申请的,而是在分配事务ID时对这个事务ID进行加锁, 用于元组并发更新时做事务等待。

分别用两个session做如下操作:

//session 1,pid:434865postgres=# begin;
BEGIN
postgres=*# update tab_test_1 set id=7 where id=1;
UPDATE 1
postgres=*#//session 2,pid:433290postgres=# begin;
BEGIN
postgres=*# update tab_test_1 set id=7 where id=1;

然后用另一个session查询锁的状态

postgres=# select * from pg_locks where pid='434865';locktype    | database | relation | page | tuple | virtualxid | transactionid | classid | objid | objsubid | virtualtransaction |  pid   |       mode| granted | fastpath | waitstart
---------------+----------+----------+------+-------+------------+---------------+---------+-------+----------+--------------------+--------+--------------
----+---------+----------+-----------relation      |    13008 |    16725 |      |       |            |               |         |       |          | 3/16               | 434865 | RowExclusiveL
ock | t       | t        |virtualxid    |          |          |      |       | 3/16       |               |         |       |          | 3/16               | 434865 | ExclusiveLock| t       | t        |transactionid |          |          |      |       |            |          1699 |         |       |          | 3/16               | 434865 | ExclusiveLock| t       | f        |
(3 rows)postgres=# select * from pg_locks where pid='433290';locktype    | database | relation | page | tuple | virtualxid | transactionid | classid | objid | objsubid | virtualtransaction |  pid   |       mode| granted | fastpath |           waitstart
---------------+----------+----------+------+-------+------------+---------------+---------+-------+----------+--------------------+--------+--------------
----+---------+----------+-------------------------------relation      |    13008 |    16725 |      |       |            |               |         |       |          | 4/3                | 433290 | RowExclusiveLock | t       | t        |virtualxid    |          |          |      |       | 4/3        |               |         |       |          | 4/3                | 433290 | ExclusiveLock| t       | t        |transactionid |          |          |      |       |            |          1700 |         |       |          | 4/3                | 433290 | ExclusiveLock| t       | f        |tuple         |    13008 |    16725 |    0 |     1 |            |               |         |       |          | 4/3                | 433290 | ExclusiveLock| t       | f        |transactionid |          |          |      |       |            |          1699 |         |       |          | 4/3                | 433290 | ShareLock| f       | f        | 2024-01-04 13:33:16.667889+08
(5 rows)

可以通过上述测试看到,pid为433290的这个session,它的pg_locks的最后一行 的granted为’f’,说明该进程被阻塞,并且是在申请类型为tansactionid的锁时被阻塞了,对应tansactionid=1699的事务。从表上可以看出这个tansactionid已经被进程pid为434865的session1会话持有了。

行锁的阻塞信息是通过tansactionid类型的锁体现的,行锁是会在数据行上加自己的tansactionid的,另一个进程读到这一行时,如果发现上一个操作该行的事务未结束,会把上一个事务的tansactionid读出来,然后申请在这个tansactionid上加上ShareLock,等待上一个事务结束,再获得ExclusiveLock。而持有行锁的进程已经在此tansactionid上加了ExclusiveLock,所以后面要更新这行的进程会被阻塞。

ShareLock即读锁,ExclusiveLock即写锁。对事务ID加ShareLock是为了事务不提交,其他人看不到修改后的行,而ExclusiveLock是防止并发操作的。

1.5 创建普通索引时阻塞的一些操作

如下是对创建普通索引申请的ShareLock后的一些阻塞情况

1.5.1 建普通索引阻塞DML操作
//开一个session,开启事务创建索引,然后不提交postgres=# begin;
BEGIN
postgres=*# create index idx_1 on tab_test_1(id);
CREATE INDEX
postgres=*#//新开一个session,查询这张表,可以正常访问,不阻塞读
postgres=# select * from tab_test_1 ;id
----123
(3 rows)//新开多个session,分别做dml操作
//session A:
postgres=# insert into tab_test_1 values(6);
//session B:
postgres=# update tab_test_1 set id=7 where id=1;
//session C:
postgres=# delete from tab_test_1 where id=1;//另开一个session,查看获取的锁postgres=#  select l.locktype,ns.nspname,a.relname,a.relkind,l.pid,l.mode,l.granted,p.query_start,p.query,p.state from pg_locks l,pg_stat_activity p,pg_class a,pg_namespace ns where l.locktype='relation' and l.pid=p.pid and query not like '%pg_stat_activity%' and l.relation=a.oid and a.relnamespace=ns.oid and a.relname='tab_test_1';locktype | nspname |  relname   | relkind |  pid   |       mode       | granted |          query_start          |                 query                  |state
----------+---------+------------+---------+--------+------------------+---------+-------------------------------+----------------------------------------+
---------------------relation | public  | tab_test_1 | r       | 409706 | ShareLock        | t       | 2024-01-04 11:48:11.807816+08 | create index idx_1 on tab_test_1(id);  |idle in transactionrelation | public  | tab_test_1 | r       | 410009 | RowExclusiveLock | f       | 2024-01-04 12:48:34.640655+08 | insert into tab_test_1 values(6);      |activerelation | public  | tab_test_1 | r       | 420570 | RowExclusiveLock | f       | 2024-01-04 12:48:37.450632+08 | update tab_test_1 set id=7 where id=1; |activerelation | public  | tab_test_1 | r       | 420581 | RowExclusiveLock | f       | 2024-01-04 12:48:39.828598+08 | delete from tab_test_1 where id=1;     |active
(4 rows)//以及查看阻塞源,可以看到表上的dml操作都是被create index 给阻塞了。pid   | blocked_by |  state  |       wait        | wait_age |  tx_age  | xid_age |   xmin_ttf    | datname  | usename  | blkd |                       que
ry
--------+------------+---------+-------------------+----------+----------+---------+---------------+----------+----------+------+--------------------------
--------------------------409706 | {}         | idletx  | Client:ClientRead |          | 01:02:44 | 5       |               | postgres | postgres |    3 |  [409706] create index idx_1 on tab_test_1(id);410009 | {409706}   | waiting | Lock:relation     | 00:01:57 | 00:01:57 |         | 2,147,483,642 | postgres | postgres |    0 |  [410009] . insert into tab_test_1 values(6);420570 | {409706}   | waiting | Lock:relation     | 00:01:54 | 00:01:54 |         | 2,147,483,642 | postgres | postgres |    0 |  [420570] . update tab_test_1 set id=7 where id=1;420581 | {409706}   | waiting | Lock:relation     | 00:01:51 | 00:01:51 |         | 2,147,483,642 | postgres | postgres |    0 |  [420581] . delete from tab_test_1 where id=1;
(4 rows)
1.5.2 建普通索引阻塞DDL操作
//开一个session,开启事务创建索引,然后不提交postgres=# begin;
BEGIN
postgres=*# create index idx_1 on tab_test_1(id);
CREATE INDEX
postgres=*#//新开一个session,执行DDL操作,alter table加列postgres=# alter table tab_test_1 add column name varchar(20);//另开一个session,查看获取的锁
postgres=#  select l.locktype,ns.nspname,a.relname,a.relkind,l.pid,l.mode,l.granted,p.query_start,p.query,p.state from pg_locks l,pg_stat_activity p,pg_class a,pg_namespace ns where l.locktype='relation' and l.pid=p.pid and query not like '%pg_stat_activity%' and l.relation=a.oid and a.relnamespace=ns.oid and a.relname='tab_test_1';locktype | nspname |  relname   | relkind |  pid   |        mode         | granted |          query_start          |                        query|        state
----------+---------+------------+---------+--------+---------------------+---------+-------------------------------+--------------------------------------
---------------+---------------------relation | public  | tab_test_1 | r       | 409706 | ShareLock           | t       | 2024-01-04 11:48:11.807816+08 | create index idx_1 on tab_test_1(id);| idle in transactionrelation | public  | tab_test_1 | r       | 422658 | AccessExclusiveLock | f       | 2024-01-04 12:51:52.948432+08 | alter table tab_test_1 add column nam
e varchar(20); | active
(2 rows)//查看阻塞源,可以看到表上alter table加列的DDL操作被create index给阻塞了。pid   | blocked_by |  state  |       wait        | wait_age |  tx_age  | xid_age |   xmin_ttf    | datname  | usename  | blkd |query
--------+------------+---------+-------------------+----------+----------+---------+---------------+----------+----------+------+--------------------------
---------------------------------------409706 | {}         | idletx  | Client:ClientRead |          | 01:04:09 | 6       |               | postgres | postgres |    1 |  [409706] create index idx_1 on tab_test_1(id);422658 | {409706}   | waiting | Lock:relation     | 00:00:03 | 00:00:03 | 1       | 2,147,483,641 | postgres | postgres |    0 |  [422658] . alter table tab_test_1 add column name varchar(20);
(2 rows)//新开一个session,执行DDL操作,drop table删除表
postgres=# drop table tab_test_1;//另开一个session,查看获取的锁postgres=#  select l.locktype,ns.nspname,a.relname,a.relkind,l.pid,l.mode,l.granted,p.query_start,p.query,p.state from pg_locks l,pg_stat_activity p,pg_class a,pg_namespace ns where l.locktype='relation' and l.pid=p.pid and query not like '%pg_stat_activity%' and l.relation=a.oid and a.relnamespace=ns.oid and a.relname='tab_test_1';locktype | nspname |  relname   | relkind |  pid   |        mode         | granted |          query_start          |                 query|        state
----------+---------+------------+---------+--------+---------------------+---------+-------------------------------+--------------------------------------
-+---------------------relation | public  | tab_test_1 | r       | 409706 | ShareLock           | t       | 2024-01-04 11:48:11.807816+08 | create index idx_1 on tab_test_1(id);| idle in transactionrelation | public  | tab_test_1 | r       | 422669 | AccessExclusiveLock | f       | 2024-01-04 12:53:17.664053+08 | drop table tab_test_1;| active
(2 rows)//查看阻塞源,可以看到表上drop table删除表的DDL操作被create index给阻塞了。pid   | blocked_by |  state  |       wait        | wait_age |  tx_age  | xid_age |   xmin_ttf    | datname  | usename  | blkd |                      quer
y
--------+------------+---------+-------------------+----------+----------+---------+---------------+----------+----------+------+--------------------------
-----------------------409706 | {}         | idletx  | Client:ClientRead |          | 01:05:43 | 7       |               | postgres | postgres |    1 |  [409706] create index idx_1 on tab_test_1(id);422669 | {409706}   | waiting | Lock:relation     | 00:00:12 | 00:00:12 | 1       | 2,147,483,640 | postgres | postgres |    0 |  [422669] . drop table tab_test_1;
(2 rows)
1.5.3 阻塞vacuum,vacuum full,analyze
//开一个session,开启事务创建索引,然后不提交postgres=# begin;
BEGIN
postgres=*# create index idx_1 on tab_test_1(id);
CREATE INDEX
postgres=*#//新开一个session,vacuum该表postgres=# vacuum tab_test_1;//另开一个session,查看获取的锁postgres=# select l.locktype,ns.nspname,a.relname,a.relkind,l.pid,l.mode,l.granted,p.query_start,p.query,p.state from pg_locks l,pg_stat_activity p,pg_class a,pg_namespace ns where l.locktype='relation' and l.pid=p.pid and query not like '%pg_stat_activity%' and l.relation=a.oid and a.relnamespace=ns.oid;locktype | nspname |  relname   | relkind |  pid   |           mode           | granted |          query_start          |                 query|        state
----------+---------+------------+---------+--------+--------------------------+---------+-------------------------------+---------------------------------
------+---------------------relation | public  | tab_test_1 | r       | 452619 | ShareLock                | t       | 2024-01-04 14:50:00.524497+08 | create index idx_1 on tab_test_1
(id); | idle in transactionrelation | public  | tab_test_1 | r       | 452585 | ShareUpdateExclusiveLock | f       | 2024-01-04 14:50:35.244644+08 | vacuum tab_test_1 ;| active
(2 rows)//查看阻塞源,可以看到表vacuum操作被create index给阻塞了。pid   | blocked_by |  state  |       wait        | wait_age |  tx_age  | xid_age |   xmin_ttf    | datname  | usename  | blkd |                      quer
y
--------+------------+---------+-------------------+----------+----------+---------+---------------+----------+----------+------+--------------------------
-----------------------452619 | {}         | idletx  | Client:ClientRead |          | 00:00:40 | 1       |               | postgres | postgres |    1 |  [452619] create index id
x_1 on tab_test_1(id);452585 | {452619}   | waiting | Lock:relation     | 00:00:02 | 00:00:02 |         | 2,147,483,646 | postgres | postgres |    0 |  [452585] . vacuum tab_te
st_1 ;
(2 rows)

可以看到vacuum改表被create index阻塞了,vacuum full,analyze测试方法类似,也是一样被阻塞了。

//阻塞vacuum fullpid   | blocked_by |  state  |       wait        | wait_age |  tx_age  | xid_age |   xmin_ttf    | datname  | usename  | blkd |                      quer
y
--------+------------+---------+-------------------+----------+----------+---------+---------------+----------+----------+------+--------------------------
-----------------------452619 | {}         | idletx  | Client:ClientRead |          | 00:12:38 | 2       |               | postgres | postgres |    1 |  [452619] create index id
x_1 on tab_test_1(id);452585 | {452619}   | waiting | Lock:relation     | 00:00:07 | 00:00:07 | 1       | 2,147,483,645 | postgres | postgres |    0 |  [452585] . vacuum full t
ab_test_1 ;
(2 rows)//阻塞analyzepid   | blocked_by |  state  |       wait        | wait_age |  tx_age  | xid_age |   xmin_ttf    | datname  | usename  | blkd |                      quer
y
--------+------------+---------+-------------------+----------+----------+---------+---------------+----------+----------+------+--------------------------
-----------------------452619 | {}         | idletx  | Client:ClientRead |          | 00:14:04 | 2       |               | postgres | postgres |    1 |  [452619] create index id
x_1 on tab_test_1(id);452585 | {452619}   | waiting | Lock:relation     | 00:00:07 | 00:00:07 |         | 2,147,483,645 | postgres | postgres |    0 |  [452585] . analyze tab_t
est_1;
(2 rows)

1.6 创建普通B-tree索引的可能遇到的问题

问题:

​ 创建普通B-tree索引在表上申请的是ShareLock,ShareLock和RowExclusiveLock是冲突的,所以create index会等待表上所有的DML(增删改)结束。但是实际在生产环境下,如果业务不停运行,涉及到要加索引的表不停的有DML操作,那么,执行了create index操作后,可能会发现长时间都没有反应,因为create index操作可能长时间获取不到锁,然后一直处于锁的等待队列里。

​ 就算能获取到了锁,可以创建索引了,但是在创建索引期间,也会阻塞所有的DML(增删改),如果需要加索引的表是一个大表,并且需要加索引的这列数据也比较复杂,那么可能执行时间比较长,那么对DML的阻塞时间也会比较长,这对于某些业务场景可能是不能接受的。除了阻塞时间长一个问题外,如果建索引期间,业务较多,被阻塞的DML大量累积,有可能导致pg_locks里累积的越来越多,最后导致OOM。

解决方法:

(1)对于建索引的操作尽量选择业务量较少的时候执行,或者有条件在停业务的窗口内完成。

(2)设置lock_timeout,不让其长时间的获取锁,阻塞业务。

(3)可以使用create index concurrently 在线创建索引(CIC),降低了创建索引在表上申请的锁的级别,ShareUpdateExclusiveLock级别的锁和RowExclusiveLock不冲突,不会阻塞DML操作。

创建索引慢:
至于常见的创建索引慢的原因也可以参考我的这篇文章常见的创建索引慢的原因

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/236677.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AR HUD全面「上新」

AR HUD赛道正在迎来新的时代。 上周,蔚来ET9正式发布亮相,新车定位为D级行政旗舰轿车,其中,在智能座舱交互层面,继理想L系列、长安深蓝S7之后,也首次取消仪表盘,取而代之的是业内首个全焦段AR H…

thinkphp6报错Driver [Think] not supported.

thinkphp6报错Driver [Think] not supported. 问题解决方法测试 问题 直接使用 View::fetch();渲染模板报错 解决方法 这个报错是由于有安装视图驱动造成的 运行如下命令安装即可 composer require topthink/think-view官方文档中是这么写的 视图功能由\think\View类配合视…

【hyperledger-fabric】部署Java应用远程访问智能合约

简介 首先是根据b站的视频 hyperledger-fabric【3】在 java 应用中访问合约 以及hyperledger-fabric【5】Java应用和私有数据,本文章主要讲述的是视频中我遇到的问题,以及相关知识点的总结。 遇到的问题 问题1:git clone下载下来的代码发现…

Java接入Apache Spark(入门环境搭建、常见问题)

Java接入Apache Spark(环境搭建、常见问题) 背景介绍 Apache Spark 是一个快速的,通用的集群计算系统。它对 Java,Scala,Python 和 R 提供了的高层 API,并有一个经优化的支持通用执行图计算的引擎。它还支…

归并排序-排序算法

前言 如果一个数组的左右区间都有序,我们可以使用一种方法(归并),使这个数组变得有序。 如下图: 过程也很简单,分别取左右区间中的最小元素,再把其中较小的元素放到临时数组中,例如…

ElasticSearch 学习9 spring-boot ,elasticsearch7.16.1实现中文拼音分词搜索

一、elasticsearch官网下载:Elasticsearch 7.16.1 | Elastic 二、拼音、ik、繁简体转换插件安装 ik分词:GitHub - medcl/elasticsearch-analysis-ik: The IK Analysis plugin integrates Lucene IK analyzer into elasticsearch, support customized d…

[开发语言][c++][python]:C++与Python中的赋值、浅拷贝与深拷贝

C与Python中的赋值、浅拷贝与深拷贝 1. Python中的赋值、浅拷贝、深拷贝2. C中的赋值、浅拷贝、深拷贝2.1 概念2.2 示例:从例子中理解1) 不可变对象的赋值、深拷贝、浅拷贝2) 可变对象的赋值、浅拷贝与深拷贝3) **可变对象深浅拷贝(外层、内层改变元素)** 写在前面&…

Salesforce财务状况分析

纵观Salesforce发展史和十几年财报中的信息,Salesforce从中小企业CRM服务的蓝海市场切入,但受限于中小企业的生命周期价值和每用户平均收入小且获客成本和流失率不对等,蓝海同时也是死海。 Salesforce通过收购逐渐补足品牌和产品两块短板&am…

系统架构设计师教程(十)软件可靠性基础知识

软件可靠性基础知识 10.1 软件架构演化和定义的关系10.1.1 演化的重要性10.1.2 演化和定义的关系 10.2 面向对象软件架构演化过程10.2.1 对象演化10.2.2 消息演化10.2.3 复合片段演化10.2.4 约束演化 10.3 软件架构演化方式的分类10.3.1 软件架构演化时期10.3.2 软件架构静态演…

mp4文件全部转换为mp3

问题 今天突发奇想,想把mp4视频转换为mp3来收听,于是想到了ffmpeg工具 步骤 安装ffmpeg环境 要在 Windows 上配置 FFmpeg 环境,你可以按照以下步骤进行操作: 下载 FFmpeg: 首先,你需要下载 FFmpeg 的 W…

C#进阶-IIS服务器发布ASP.NET项目

对于云服务器,程序员一般不会陌生,如果项目需要发布到现网,那么服务器是必不可缺的一项硬性条件,那么如何在云服务器上部署一个项目,需要做哪些配置准备,下面就由本文档为大家讲解,本篇以 IIS服…

暴打小苹果

欢迎来到程序小院 暴打小苹果 玩法:鼠标左键点击任意区域可发招暴打,在苹果到达圆圈时点击更容易击中, 30秒挑战暴打小苹果,打中一次20分,快去暴打小苹果吧^^。开始游戏https://www.ormcc.com/play/gameStart/247 htm…

PXE 高效批量网络装机

前提: 虚拟机恢复到初始化 调整网卡为vm1 关闭防火墙 安全linux systemctl stop firewalld vim /etc/selinux/config 配置IP地址 vim /etc/sysconfig/network-scripts/ifcfg-ens33 重启网卡 systemctl restart network 挂载磁盘 安装yum源 安装服务 yum install vs…

uni-app做A-Z排序通讯录、索引列表

上图是效果图,三个问题 访问电话通讯录,拿数据拿到用户的联系人数组对象,之后根据A-Z排序根据字母索引快速搜索 首先说数据怎么拿 - 社区有指导https://ask.dcloud.net.cn/question/64117 uniapp 调取通讯录 // #ifdef APP-PLUSplus.contac…

【Git】本地仓库文件的创建、修改和删除

目录 一、基本信息设置 1、设置用户名2、设置用户名邮箱 二、Git仓库操作介绍 1、创建一个新的文件夹2、在文件内初始化git仓库(创建git仓库)3、向仓库中添加文件 1.创建一个文件2.将文件添加到暂存区3.将暂存区添加到仓库 4、修改仓库文件 1.修改文件2.…

基于JAVA+SpringBoot的咖啡商城

✌全网粉丝20W,csdn特邀作者、博客专家、CSDN新星计划导师、java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取项目下载方式🍅 一、项目背景介绍: 随着互联网的普及和发…

Windows下Redis5+可视化软件下载、安装和配置教程-2024年1月8日

Windows下Redis5下载、安装和配置教程-2024年1月8日 一、下载二、安装三、配置环境四、配置可视化客户端 一、下载 redis是现在是没有对win系统版进行维护的,这个是大神完成的,目前是到5版本,选择Redis-x64-5.0.14.1.zip点击下载 下载地址&…

使用Navicat导入csv数据至mysql

问题 使用Navicat导入csv数据至mysql 详细问题 笔者有已进行数据处理的csv,需要将数据信息导入mysql中 解决方案 步骤1、建立数据表,字段信息(最好)与csv字段信息保持一致,方便后续导入。 具体的,双击…

Surface mesh结构学习

CGAL 5.6 - Surface Mesh: User Manual Surface_mesh 类是半边数据结构的实现,可用来表示多面体表面。它是半边数据结构(Halfedge Data Structures)和三维多面体表面(3D Polyhedral Surface)这两个 CGAL 软件包的替代品…

2023一带一路暨金砖国家技能发展与技术创新大赛“网络安全”赛项省选拔赛样题卷①

2023金砖国家职业技能竞赛"网络安全" 赛项省赛选拔赛样题 2023金砖国家职业技能竞赛 省赛选拔赛样题第一阶段:职业素养与理论技能项目1. 职业素养项目2. 网络安全项目3. 安全运营 第二阶段:安全运营项目1. 操作系统安全配置与加固任务一Linux …