代码审计平台sonarqube的安装及使用

docker搭建代码审计平台sonarqube

      • 一、代码审计关注的质量指标
      • 二、静态分析技术分类
      • 三、使用sonarqube的目的
      • 四、sonarqube流程
      • 五、docker快速搭建sonarqube
      • 六、sonarqube scanner的安装和使用
      • 七、sonarqube对maven项目进行分析
      • 八、sonarqube分析报告解析
      • 九、代码扫描规则定制
      • 十、sonarqube api的使用
      • 十一、单元测试与代码覆盖率实战
      • 十二、使用注意事项

我们之前测试更多是做的黑盒测试,黑盒层面能帮我们更好的保证用户的功能体验,但是这样带来一些问题,比如一些很容易发现的问题在外围需要花费很多成本才能解决,我们期望质量体系可以多元化。一些问题比如客户端崩溃,移动端的性能问题等,在代码端可以很容易扫描出来。我们可以把测试往前提,就是测试左移,这样可以提升效益,把bug消灭在提测前。我们可以使用sonarqube先来实现这个效果。

一、代码审计关注的质量指标

  • 代码坏味道
    • 代码规范
    • 技术债评估
  • bug和漏洞
  • 代码重复度
  • 单测与集成
    • 测试用例数量
    • 覆盖率

二、静态分析技术分类

  • 代码静态检查
    • 代码分析:lint系列,通过分析语法树和源代码,检查代码规范
    • 编译器分析:借助于编译器获得代码关系
  • 字节码静态分析
    • 分析jar、war、dex等格式的文件,代表工具:fndbugs

三、使用sonarqube的目的

sonarqube目前我们着重关注一些高优先级别的bug,特别是新增代码导致的新的bug和漏洞,比如因为安全规范没遵守导致潜在漏洞发生。还有就是看覆盖率和单元测试的case数量,以及引用覆盖率去度量产品测试是否充分。

四、sonarqube流程

在这里插入图片描述

五、docker快速搭建sonarqube

db_instance=postgres_prod
sonarqube_instance=sonarqube_prod
data_dir=/root/sonarqube
#创建数据目录
mkdir -p $data_dir
mkdir $data_dir/postgresql
mkdir $data_dir/sonarqube_data
mkdir $data_dir/sonarqube_extensions
mkdir $data_dir/sonarqube_logs
chmod -R 777 $data_dir#创建网络
docker network create sonarqube
#启动pg数据库
docker run -d \--name $db_instance \--network sonarqube \-p 5432:5432 \-e POSTGRES_USER=sonarqube \-e POSTGRES_PASSWORD=sonarqube \-e PGDATA=/var/lib/postgresql/data/pgdata \-v $data_dir/postgresql:/var/lib/postgresql/data \postgressysctl -w vm.max_map_count=524288
sysctl -w fs.file-max=131072
ulimit -n 131072
ulimit -u 8192#启动soarqube的产品部署
docker run -d \--name $sonarqube_instance \--network sonarqube \-p 9000:9000 -p 9092:9092 \-e SONARQUBE_JDBC_USERNAME=sonarqube \-e SONARQUBE_JDBC_PASSWORD=sonarqube \-e SONARQUBE_JDBC_URL="jdbc:postgresql://$db_instance/sonarqube" \-v $data_dir/sonarqube_data:/opt/sonarqube/data \-v $data_dir/sonarqube_extensions:/opt/sonarqube/extensions \-v $data_dir/sonarqube_logs:/opt/sonarqube/logs \sonarqubedocker start sonarqube_prod
  • 查看日志:docker logs -f sonarqube_prod

  • 搭建完成后网页输入http://ip:9000/访问,默认用户名密码是admin,进入以后可以改密码,首页长这样
    在这里插入图片描述

  • 页面介绍:

    • project:项目tab,可以在里面创建一个项目。有项目的可以看到项目总览
      在这里插入图片描述

    • issues:报告出来的问题。左边可以根据条件进行筛选
      在这里插入图片描述

    • rules:系统总共有多少规则需要配置
      在这里插入图片描述

    • quality profiles:包含了一系列rules的配置文件,用于代码分析。允许对规则进行自定义,自己去创建一个新的规则集,然后到rules去里面选自己觉得有用的
      在这里插入图片描述

    • quality gates:质量门禁,可以在里面配置比如覆盖率达到x%的时候就表示通过
      在这里插入图片描述

    • administration:管理员面板
      在这里插入图片描述

  • 安装插件

    • java常用插件有Checkstyle,Findbugs,PMD,SonarJS,SonarJava(后面这3个我找不到了,不知道是不是我版本太高了哈哈)
      在这里插入图片描述
  • 我们可以在/root/sonarqube/sonarqube_extensions/downloads查看到下载内容
    在这里插入图片描述

  • 下载完记得要重启
    在这里插入图片描述

六、sonarqube scanner的安装和使用

PS:我这边下的是sonar的v10.5.1 版本,要搭配java17使用,大家要提前配好环境变量哦~

  • 安装scanner并配置环境变量。
# 下载
wget https://binaries.sonarsource.com/Distribution/sonar-scanner-cli
/sonar-scanner-cli-5.0.1.3006-linux.zip
# 解压
yum -y install unzip
unzip sonar-scanner-5.0.1.3006-linux
# 修改conf配置的全局变量,改成自己的sonarqube地址,还有login密码并保存
cd sonar-scanner-5.0.1.3006-linux/
vim conf/sonar-scanner.properties 

在这里插入图片描述
在这里插入图片描述

# 配置环境变量
vim /etc/profile
# 添加上
SONARSCANNER_HOME=/root/sonarqube/sonarqube_extensions/downloads/sonar-scanner-5.0.1.3006-linux PATH=$PATH:$SONARSCANNER_HOME/bin
export SONARSCANNER_HOME PATH
# 使其生效
source /etc/profile
# 检查sonarscanner是否配置成功:
sonar-scanner -h

在这里插入图片描述

  • 使用sonar-scanner分析基础项目
# 下载sonar官方案例
git clone git@gitee.com:TheOctopus/sonar-scanning-examples.git
# 切换路径
cd sonar-scanning-examples
# 修改properties配置文件的前三个参数,projectVersion可以改成与项目一致的版本号并保存
cd /root/sonar-scanning-examples/sonarqube-scanner
# 在项目主路径创建这个配置文件,sonar启动过程中会去找,如果找不到,会从项目里解析基本信息。其中key要求唯一。一般配置前三个参数就好
vim sonar-project.properties

在这里插入图片描述

  • 输入sonar-scanner命令进行分析(这里也要注意下,记得是在sonar-project.properties所在文件夹执行命令,否则又要报错啦哈哈哈)
    在这里插入图片描述

七、sonarqube对maven项目进行分析

PS:maven的环境变量大家记得先配

  • 首先,我们需要在页面新建一个项目:projects-create project-输入name,key-点击next
    在这里插入图片描述
  • create project
    在这里插入图片描述
  • 分析方式选择,我这边选择locally
    在这里插入图片描述
  • 点击generate生成秘钥-点击continue
    在这里插入图片描述
  • 选择maven,然后复制里面的语句,进入项目里,在pom文件所在文件夹执行命令(图片里的key和name对不上是因为上面的项目忘记截图了,重新创建了一个。。)
    在这里插入图片描述
    在这里插入图片描述
    结果可以在这里看,也可以直接在sonarqube的页面看,都有的
    在这里插入图片描述
    在这里插入图片描述
    还有另外一种方式,就是通过配置maven的setting.xml文件,然后运行的时候只需要执行mvn clean verify sonar:sonar即可,替你们试过了太麻烦了而且不灵活,不推荐!
<!--demo-->
<settings><pluginGroups><pluginGroup>org.sonarsource.scanner.maven</pluginGroup></pluginGroups><profiles><profile><id>sonar</id><activation><activeByDefault>true</activeByDefault></activation><properties><!-- Optional URL to server. Default value is http://localhost:9000 --><sonar.host.url>http://myserver:9000</sonar.host.url></properties></profile></profiles>
</settings>

在这里插入图片描述

在这里插入图片描述

八、sonarqube分析报告解析

在这里插入图片描述

  • overview
    Quality Gate Status:整体是否通过
    Security:安全性。底下的H、M、L分别代表高中低
    Reliability:可靠性
    Maintainability:可维护性
    Accepted issues:那些已经被分析人员或团队成员接受并认为不需要进一步处理的问题
    Coverage:覆盖率
    Duplications:重复
    Security Hotspots:代码中存在安全问题的部分,它可以帮助安全分析师确定代码是否存在漏洞

  • Issues栏:bug记录
    在这里插入图片描述
    点进去可以看到bug详情和解决方案
    在这里插入图片描述
    我们可以重点关注这里
    在这里插入图片描述

  • measures栏
    可以理解成质量模型
    在这里插入图片描述
    可以点进去查看详情
    在这里插入图片描述

  • new code 新增代码的覆盖率

    • sonar可以很智能的分析新增代码的变更。怎么定义新增呢?比如和上次的代码发生了偏差,都认为是新增的
      在这里插入图片描述

九、代码扫描规则定制

sonarqube默认自带了很多扫描的规则,但是有的规则在实际项目里用不到,我们如何自定义规则呢?

  • 进入rules里,这里可以看到自带的规则,然后我们可以进行过滤,比如把优先级是低级中级的先过滤,这样报告才能突出重点,更加简洁明确。比如代码重复度,这个一旦爆出就表示代码一定哪些地方写重复了,还有一些高优先级的bug和漏洞。对于code smell,低级别的bug之类的可以尽量弱化。
  • 比如我们只要高优先级的,可以筛出来,然后保存成配置文件然后导入即可
    在这里插入图片描述
  • 建议把报告直接给研发去看,我们QA完全不管。还有就是我们有专门团队去看扫描的问题,然后帮助研发去解决。研发有时候也看不懂,他们会构造对应场景,告诉研发危害是什么。对于偏业务测试的团队,还是建议不要去提这类的bug,会耗费大量精力,这个比较适合专门的团队去跟进这些问题。
  • 一些规则的定制建议由专门的团队去负责

十、sonarqube api的使用

  • 要让gitlab、jenkins去访问sonarqube,包括我们写测试平台的时候,我们有时候需要从sonarqube提取数据,需要对外提供api。

  • 访问api文档:右下角点击web api在这里插入图片描述
    就可以看到具体的了,这些指标也是对应我们上面的一些功能
    在这里插入图片描述

  • web hook功能使用

    • 当sonar分析完一个项目的时候,jenkins希望得到通知,我们就可以使用web hook功能
    • 如何配置?
      进入administration-configuration-webhooks-create,输入如下参数进行配置
      在这里插入图片描述

    在这里插入图片描述

    十一、单元测试与代码覆盖率实战

    • 相关文档:https://docs.sonarsource.com/sonarqube/latest/analyzing-source-code/test-coverage/test-coverage-parameters/

    • 无侵入快速覆盖率统计

      • 1、进入项目,执行该脚本
// 启动注入并对代码进行染色,执行单元测试,生成覆盖率报告mvn clean \org.jacoco:jacoco-maven-plugin:0.8.6:prepare-agent \test \org.jacoco:jacoco-maven-plugin:0.8.6:report\-Dmaven.test.failure.ignore=true \-Dmaven.test.skip=false
  • 得到结果

在这里插入图片描述

  • 跑完以后会生成exec结尾的报告
    在这里插入图片描述

  • 把它转为xml文件:

    • 执行mvn org.jacoco:jacoco-maven-plugin:0.8.6:report
      在这里插入图片描述
    • 查看生成的xml文件
      在这里插入图片描述
    • 利用scanner上传覆盖率数据
find $PWD -name "jacoco.*"mvn \clean \org.jacoco:jacoco-maven-plugin:0.8.6:prepare-agent \test \org.jacoco:jacoco-maven-plugin:0.8.6:report  \sonar:sonar  \-Dsonar.projectKey=demo   \-Dsonar.host.url=http://192.168.10.137:9000/   \-Dsonar.token=sqp_2097cdfb11f2c55b87362c34acc660c781e03709  \-Dsonar.coverage.jacoco.xmlReportPaths="$PWD/**/**/**/**/jacoco.xml" \-Dmaven.test.failure.ignore=true   \-Dmaven.test.skip=false

执行完毕
在这里插入图片描述
查看页面,覆盖率有值啦
在这里插入图片描述
在这里插入图片描述
代码修改后,我们重新运行上面的脚本,可以看到new code页有数据了。
在这里插入图片描述

十二、使用注意事项

大家不要把所有扫描出来的bug都扔给研发,因为一个系统扫描一下通常有上千个bug,有些bug的级别是非常低的,建议不要关注历史的代码债,只关注新增的(上面那个页面的),重点关注代码覆盖率,还有severity也重点关注high级别的,

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/327578.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Docker 使用 Fedora 镜像

Fedora 在 Docker 中的使用也非常简单&#xff0c;直接使用命令 docker run -it fedora:latest bash 就可以 pull 到本地的容器中并且运行。 C:\Users\yhu>docker run -it fedora:latest bash Unable to find image fedora:latest locally latest: Pulling from library/fed…

数据库笔记-【视图】

视图 视图通俗是企业想展示给用户看的&#xff0c;数据库存储的数据有很多&#xff0c;但是也有很多是不能对外公开的&#xff0c;做项目的过程就通过视图这个媒介达到这种效果 视图也可以保证数据库表结构字段的隐私安全等 create or replace view stu_v_1 as select id st…

C#反编译太容易了,转qt怎么样?

在开始前我有一些资料&#xff0c;是我根据网友给的问题精心整理了一份「qt的资料从专业入门到高级教程」&#xff0c; 点个关注在评论区回复“888”之后私信回复“888”&#xff0c;全部无偿共享给大家&#xff01;&#xff01;&#xff01;方案1&#xff1a;随机报错 反编都…

LoRA Land: 310个经微调的大语言模型可媲美GPT-4

摘要 低秩自适应 (LoRA) 已成为大语言模型 (LLM) 参数有效微调 (PEFT) 中最广泛采用的方法之一。LoRA 减少了可训练参数的数量和内存使用,同时达到了与全面微调相当的性能。该研究旨在评估在实际应用中训练和服务使用 LoRA 微调的 LLM 的可行性。首先,该研究测量了在 10 个基础…

如何使用恢复模式修复Mac启动问题?这里提供详细步骤

如果你的Mac无法启动,不要惊慌,Mac有一个隐藏的恢复模式,你可以使用它来诊断和修复任何问题,或者在需要时完全重新安装macOS。以下是如何使用它。 如何在Mac上启动到恢复模式 你需要做的第一件事是启动到恢复模式。尽管操作说明会因你使用的Mac电脑而异,但幸运的是,启动…

postman 使用教程

1. get 请求 &#xff1f;号后为 get 请求的参数 参数之间用符号"&" 分隔。 假设url 为&#xff1a;http://10.71.7.101/cgi-bin/gw-config.cgi?methodgetway_param&t1715658871647 复制进来到postman的地址栏 后 &#xff1f;后面的参数会自动添加到参…

kali linux2024.1版安装

1 基于 VMware 安装 Kali 系统 打开已经安装好的 VMware 程序&#xff0c;点击选项卡中的“主页”--》而后点击“创建新的虚拟机” 选择“典型(推荐)”&#xff0c;并点击“下一步” 客户机操作系统镜像选择&#xff1a;选择“稍后安装操作系统”&#xff0c;并点击“下一步”…

C#窗体程序设计笔记:如何调出控件工具箱,并设置控件的属性

文章目录 调出控件工具箱设置控件属性 调出控件工具箱 使用Visual Studio打开C#解决方案后&#xff0c;初始界面如下图所示&#xff1a; 接着&#xff0c;在上方的菜单栏依次选择“视图”“工具箱”&#xff0c;即可打开工具箱&#xff0c;如下图所示&#xff1a; 设置控件属…

STL----push,insert,empalce

push_back和emplace_back的区别 #include <iostream> #include <vector>using namespace std; class testDemo { public:testDemo(int n) :num(n) {cout << "构造函数" << endl;}testDemo(const testDemo& other) :num(other.num) {cou…

第 1 天_二分查找【算法基础】

第 1 天_二分查找 前言34. 在排序数组中查找元素的第一个和最后一个位置题解官方33. 搜索旋转排序数组题解官方74. 搜索二维矩阵 前言 这是陈旧已久的草稿2021-11-09 19:33:44 当时在学习数据结构&#xff0c;然后再LeetCode上找了一个算法基础。 但是后来又没做了。 现在20…

【考古篇】Attension is all you need

Transformer 文章目录 Transformer1. What2. Why3. How3.1 Encoder3.2 Decoder3.3 Attention3.4 Application3.5 Position-wise Feed-Forward Networks(The second sublayer)3.6 Embeddings and Softmax3.7 Positional Encoding3.8 Why Self-Attention 1. What A new simple n…

最新极空间部署iCloudpd教程,实现自动同步iCloud照片到NAS硬盘

【iPhone福利】最新极空间部署iCloudpd教程&#xff0c;实现自动同步iCloud照片到NAS硬盘 哈喽小伙伴们好&#xff0c;我是Stark-C~ 我记得我前年的时候发过一篇群晖使用Docker部署iCloudpd容器来实现自动同步iCloud照片的教程&#xff0c;当时热度还很高&#xff0c;可见大家…

CSS表格特殊样式

列组样式 使用colgroup与col标签配合可以定义列祖样式&#xff1a;例 <!DOCTYPE html> <html><head><meta charset"utf-8"><title></title><style>table,tr,th,td{border: 1px solid #000;}table{border-collapse: coll…

【数据结构】顺序表与链表的差异

顺序表和链表都是线性表&#xff0c;它们有着相似的部分&#xff0c;但是同时也有着很大的差异。 存储空间上的差异&#xff1a; 对于插入上的不同点&#xff0c;顺序表在空间不够时需要扩容&#xff0c;而如果在使用realloc函数去扩容&#xff0c;会有原地扩容和异地扩容两种情…

Python图形复刻——绘制母亲节花束

各位小伙伴&#xff0c;好久不见&#xff0c;今天学习用Python绘制花束。 有一种爱&#xff0c;不求回报&#xff0c;有一种情&#xff0c;无私奉献&#xff0c;这就是母爱。祝天下妈妈节日快乐&#xff0c;幸福永远&#xff01; 图形展示&#xff1a; 代码展示&#xff1a; …

GCP谷歌云有什么数据库类型,该怎么选择

GCP谷歌云提供的数据库类型主要包括&#xff1a; 关系型数据库&#xff1a;这类数据库适用于结构化数据&#xff0c;通常用于数据结构不经常发生变化的场合。在GCP中&#xff0c;关系型数据库选项包括Cloud SQL和Cloud Spanner。Cloud SQL提供托管的MySQL、PostgreSQL和SQL Se…

GPT-4o正式发布;零一万物发布千亿参数模型;英国推出AI评估平台

OpenAI 正式发布 GPT-4o 今天凌晨&#xff0c;OpenAI 正式发布 GPT-4o&#xff0c;其中的「o」代表「omni」&#xff08;即全面、全能的意思&#xff09;&#xff0c;这个模型同时具备文本、图片、视频和语音方面的能力&#xff0c;甚至就是 GPT-5 的一个未完成版。 并且&…

RK3566(泰山派):3.1寸屏幕D310T9362V1SPEC触摸驱动(竖屏)

RK3566&#xff08;泰山派&#xff09;&#xff1a;3.1寸屏幕D310T9362V1SPEC触摸驱动&#xff08;竖屏&#xff09; 文章目录 RK3566&#xff08;泰山派&#xff09;&#xff1a;3.1寸屏幕D310T9362V1SPEC触摸驱动&#xff08;竖屏&#xff09;电路配置i2c1设备树创建驱动编写…

【Qt】常用控件(一)

文章目录 一、核心属性1、enabled代码示例: 通过按钮2 切换按钮1 的禁用状态 2、geometry代码示例: 控制按钮的位置代码示例&#xff1a;window frame 的影响代码示例: 感受 geometry 和 frameGeometry 的区别 3、windowTitle4、windowIcon代码示例: 通过 qrc 管理图片作为图标…

【ARM Cortex-M 系列 2.3 -- Cortex-M7 Debug event 详细介绍】

请阅读【嵌入式开发学习必备专栏】 文章目录 Cortex-M7 Debug eventDebug events Cortex-M7 Debug event 在ARM Cortex-M7架构中&#xff0c;调试事件&#xff08;Debug Event&#xff09;是由于调试原因而触发的事件。一个调试事件会导致以下几种情况之一发生&#xff1a; 进…