怎么使用服务器运行pySCENIC

前言

我们注意到在其他的一些论坛，有一些用户反馈，在服务器上面运行pyscenic不太顺畅。本文我们整理了在服务器上运行pyscenic的三个方法供大家参考，分别是conda安装pyscenic运行、arboreto_with_multiprocessing运行、容器化运行。总的来说，推荐使用容器化方式运行，其次是arboreto_with_multiprocessing方式，最次是conda安装pyscenic运行的方式。

pyscenic的三个步骤，grn、ctx、aucell，分别耗时的级别是十几个小时、两三个小时、半小时，运行时间依据实际使用数据大小、服务器负载等具体情况有不同的时间表现，以上时间仅供参考，总之三部曲耗时是越来越短的。

一些优质的文档
1. 《使用西柚云自学pySCENIC所遇Error》
2. 《使用pyscenic做转录因子分析》
3. 《pySCENIC报错、解决和完整流程(IOS系统)》
4. 《PyScenic教学（容器化）》

conda安装pyscenic运行

Dask

默认的pyscenic是使用到了Dask的，Dask是一个python编写的，灵活的大数据并行计算库(框架)，能在分布式集群中进行分布式并行计算，也可以在单机（多核心）中进行伪分布式并行计算。

环境配置与运行

参考论坛里某位大佬的评论，pyscenic存在一些版本的问题，故安装的时候需要进行一些降级处理。

mamba create -y -n pyscenic310 python=3.10 -vvmamba activate pyscenic310pip config set global.index-url http://mirror.xiyoucloud.pro:63333/repository/pypi/simple
pip config set install.trusted-host mirror.xiyoucloud.pro
pip config set global.timeout 6000# pip 从 git 源码仓库直接 install 。要求是这个github仓库内要有setup.py文件。【这里有可能需要魔法】
pip install git+https://github.com/aertslab/pySCENICpip install numpy==1.23.5
pip install distributed==2024.2.1
pip install dask-expr==0.5.3
pip install numba==0.56.4# 第一步 grn，sample.loom、hs_hgnc_tfs.txt是输入，产出是adj.sample.tsv
time pyscenic grn --num_workers 20 --output adj.sample.tsv --method grnboost2 sample.loom hs_hgnc_tfs.txt# 第二步 ctx 输入是hg38__refseq-r80__10kb_up_and_down_tss.mc9nr.genes_vs_motifs.rankings.feather、motifs-v9-nr.hgnc-m0.001-o0.0.tbl，输出是reg.csv
time pyscenic ctx adj.sample.tsv hg38__refseq-r80__10kb_up_and_down_tss.mc9nr.genes_vs_motifs.rankings.feather --annotations_fname motifs-v9-nr.hgnc-m0.001-o0.0.tbl --expression_mtx_fname sample.loom --mode "dask_multiprocessing" --output reg.csv --num_workers 10 --mask_dropouts# 第三步 aucell，sample.loom、reg.csv是输入，产出是sample_SCENIC.loom
time pyscenic aucell sample.loom reg.csv --output sample_SCENIC.loom --num_workers 10

UserWarning: Port 8787 is already in use问题

Dask集群启动的时候，会启动一个web服务（web服务的可视化界面大概长下图这样，可以看到计算任务的资源使用情况以及任务拓扑图）对集群的运行进行数据的可视化，该服务监听8787端口，而Rstudio也是监听8787端口，二者就冲突了，但是这个不影响实际运行，因为Dask会随机选择一个未使用的端口来运行的。

Distributed core Error， Cancelled Error，CommClosedError问题

这种报错为Dask的分布式运算协调失败导致运行报错，我们单独调用Dask库是没有问题的，服务端与客户端都能正常启动，也能调用多个核心进行并行计算。问题有可能出在pyscenic调用Dask的时候，有什么地方没处理好，导致进行多线程运算的时候偶尔出错，下面给出验证在西柚云服务器运行Dask是否有问题的Demo，与pyscenic没有什么关系，大家看看即可。

from dask.distributed import LocalCluster, Client# 创建一个本地的伪分布式集群，监听14951端口，这样就不会与Rstudio的8787端口冲突了
cluster = LocalCluster(scheduler_port=14950,dashboard_address=":14951")

from dask.distributed import Client# 创建Dask集群客户端
client = Client("127.0.0.1:14950")# 使用Dask进行并行计算
import dask.array as da
import numpy as np# 创建一个大数组
x = da.from_array(np.random.random((10000, 10000)), chunks=(1000, 1000))# 并行计算数组的平均值
mean = x.mean().compute()

arboreto_with_multiprocessing运行

如果是单机运行pyscenic，还可以使用arboreto_with_multiprocessing来运行。
arboreto_with_multiprocessing.py文件在安装了pyscenic后就能直接使用了的，其特别适合单机运行的情况，因为不使用Dask，放弃了多服务器节点运行的能力，但是好处是依赖更少，更加稳定，可以避免出现上面说的Dask分布式运算协调失败导致运行报错。
Arboreto是pyscenic的一个依赖库，主要用于加速GRN推断，特别是使用多进程来并行化GENIE3或GRNBoost2算法。所以arboreto_with_multiprocessing.py应该只负责第一步的共表达网络推断，第二、第三步和方法一是一样的。

环境配置与运行

mamba create -y -n pyscenic379-arboreto python=3.7.9 -vvmamba activate pyscenic379-arboretomamba install -y numpy==1.19.5 -vvpip install pyscenic==0.12.0# 第一步
time arboreto_with_multiprocessing.py --num_workers 20 --output adj.sample.tsv --method grnboost2 sample.loom hs_hgnc_tfs.txt# 第二步
time pyscenic ctx adj.sample.tsv hg38__refseq-r80__10kb_up_and_down_tss.mc9nr.genes_vs_motifs.rankings.feather --annotations_fname motifs-v9-nr.hgnc-m0.001-o0.0.tbl --expression_mtx_fname sample.loom --mode "dask_multiprocessing" --output reg.csv --num_workers 10 --mask_dropouts# 第三步
time pyscenic aucell sample.loom reg.csv --output sample_SCENIC.loom --num_workers 10

程序没有使用多核心问题

此问题在仓库的issue（https://github.com/aertslab/pySCENIC/issues/463）中有提到，明明设置了num_workers为20，但是实际只有单核心在运行。有用户给出了解决方案是将pyscenic降级到0.12.0版本，实测可行。同时官方也指出了，可以使用容器化运行。

容器化运行

可以看到，前面两个方法都需要安装特定版本的依赖才能运行，比较复杂。使用容器化技术，可以将一整套打包好的软件拉取下来运行，免去了很多环境配置调试的烦恼。

pyscenic的可用版本

docker

环境配置与运行

pyscenic的最新版本为0.12.1，维护时间是2年前，最近的几个版本分别是：0.12.1、0.12.0、0.11.2、0.11.1。
由于国内网络问题，所以需要从西柚云的docker仓库（拉取之前需要进行docker仓库的配置，具体仓库用法：西柚仓库集合）中拉取对应的镜像，否则会出现拉取镜像超时报错的情况。

sudo docker pull mirror.xiyoucloud.pro:63331/aertslab/pyscenic:0.12.1 sudo docker tag mirror.xiyoucloud.pro:63331/aertslab/pyscenic:0.12.1 aertslab/pyscenic:0.12.1# 第一步
time docker run -it --rm -v ${HOME}/pyscenic/docker:/data aertslab/pyscenic:0.12.1 pyscenic grn --num_workers 20 -o /data/adj.sample.tsv --method grnboost2 /data/sample.loom /data/hs_hgnc_tfs.txt# 第二步
time docker run -it --rm -v ${HOME}/pyscenic/docker:/data aertslab/pyscenic:0.12.1 pyscenic ctx /data/adj.sample.tsv /data/hg38__refseq-r80__10kb_up_and_down_tss.mc9nr.genes_vs_motifs.rankings.feather --annotations_fname /data/motifs-v9-nr.hgnc-m0.001-o0.0.tbl --expression_mtx_fname /data/sample.loom --mode "dask_multiprocessing" --output /data/reg.csv --num_workers 10 --mask_dropouts# 第三步
time docker run -it --rm -v ${HOME}/pyscenic/docker:/data aertslab/pyscenic:0.12.1 pyscenic aucell /data/sample.loom /data/reg.csv --output /data/sample_SCENIC.loom --num_workers 10