526互联

单元测试平台搭建：sonarQube+sonarScanner+Jenkins+jacoco

发布时间 2023-12-07 15:57:31作者: hqq的进阶日记

单元测试平台搭建及结果分析

一、方案

需求目标：提高单元测试覆盖率和规范代码编写规范
选用工具：Sonarqube、sonarqube Scanner、Jenkins、jacoco
方案：
工程中引入jacoco进行代码覆盖率统计，通过sonarqube scanner扫描工程编写规范，编写单元测试代码后，结合Jenkins每次的编译部署自动执行代码规范扫描和单元测试代码，并将结果推送到sonarqube平台进行图形展示。
步骤：

  • 1、选择合适的测试框架：选择一个适合项目的单元测试框架，例如JUnit（Java项目）。
  • 2、设置测试环境：确保在测试环境中安装和配置所有必需的软件和工具，包括构建工具、依赖项管理器和代码覆盖率工具等。
  • 3、编写测试代码：编写单元测试代码，测试各个单元功能是否按预期工作。确保覆盖代码的不同路径和边界情况。需要开发配合。
  • 4、自动化测试：使用持续集成工具Jenkins设置自动化测试流程，以便在每次代码提交或定期基准测试时运行单元测试。
  • 5、代码覆盖率检查：使用代码覆盖率工具JaCoCo来检测测试代码覆盖的代码范围，以确保测试足够全面。
  • 6、测试结果：jenkins将结果推送到sonarqube平台进行图形展示。

二、修改配置信息

1、/etc/security/limits.conf 配置文件
ulimit -n 是用来设置当前用户的文件描述符限制（file descriptor limit）的命令。该限制用于控制一个进程可以同时打开的文件数。
ulimit -u 是限制用户最大可用进程数。

/etc/security/limits.conf 中增加以下内容：

* soft nofile 65536 
* hard nofile 65536 
* soft nproc 655350 
* hard nproc 655350

2、/etc/sysctl.conf 配置文件
max_map_count 文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量;
fs.file-max 设置系统所有进程一共可以打开的文件数量

/etc/sysctl.conf 中增加以下内容：

vm.max_map_count = 524288 
fs.file-max = 9223372036854775807

配置文件生效：sudo sysctl -p

3、查看配置结果

三、安装JDK11

由于SonarQube和JDK及数据库有对应版本要求，本次平台搭建使用版本如下：

  • SonarQube 8.9.6
  • OpenJDK 11，
  • PostgreSQL 12
    1、卸载JDK 1.8：
sudo apt-get remove openjdk-8-jdk

2、安装OpenJDK 11：

sudo apt-get install openjdk-11-jdk

3、配置环境变量：
在安装OpenJDK 11后，需要更新环境变量以指向新的JDK版本。vi ~/.bashrc
在文件末尾添加以下行：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64 
export PATH=$JAVA_HOME/bin:$PATH

4、使配置生效：
在终端中执行以下命令以加载配置的环境变量：source ~/.bashrc

5、验证安装：
运行以下命令来检查是否已正确安装OpenJDK 11并使其生效：java -version

四、Docker部署SonarQube、postgreSQL、pgAdmin4

1、新建目录/usr/local/docker/sonarqube_docker

2、该目录下新增docker-compose.yml文件
配置信息如下：

#docker-compose.yml
version: "3"

services:
  sonarqube:
    image: sonarqube:8.9.6-community
    restart: always
    container_name: sonarqube
    depends_on:
      - db
    environment:
      SONAR_JDBC_URL: jdbc:postgresql://db:5432/sonar
      SONAR_JDBC_USERNAME: sonar
      SONAR_JDBC_PASSWORD: sonar
    volumes:
      - sonarqube_data:/opt/sonarqube/data
      - sonarqube_extensions:/opt/sonarqube/extensions
      - sonarqube_logs:/opt/sonarqube/logs
    ports:
      - "9000:9000"
  db:
    image: postgres:12
    container_name: postgresql
    ports:
      - "5432:5432"
    environment:
      POSTGRES_USER: sonar
      POSTGRES_PASSWORD: sonar
    volumes:
      - postgresql:/var/lib/postgresql
      - postgresql_data:/var/lib/postgresql/data
  pgadmin4:
    image: dpage/pgadmin4
    container_name: pgadmin4
    ports:
      - "5433:80"
    environment:
      - PGADMIN_DEFAULT_EMAIL=test@123.com
      - PGADMIN_DEFAULT_PASSWORD=123456

volumes:
  sonarqube_data:
  sonarqube_extensions:
  sonarqube_logs:
  postgresql:
  postgresql_data:

配置信息说明：
在这个文件中，我们定义了三个服务：sonarqube、postgresql和pgadmin4。
sonarqube 服务运行代码扫描服务，并将容器端口9000映射到主机端口9000。
postgresql 服务将运行PostgreSQL数据库，并将容器端口5432映射到主机端口5432。
pgadmin4 服务将运行pgAdmin 4可视化工具，并将容器端口80映射到主机端口5433。
postgresql和pgadmin4两个服务都使用postgresql_data卷来共享数据。

3、容器启动命令
启动： sudo docker-compose up -d
重启sonarqube容器： sudo docker restart sonarqube

4、访问
sonarqube：http://宿主机IP:9000/ 用户名/密码：admin/123456
pgAdmin4：http://宿主机IP:5433/ 邮箱：test@123.com 密码:123456

5、配置sonarqube
1）汉化：
配置-->应用市场-->插件，搜索chinese-->安装插件-->重启容器

2）开启SCM：
配置-->SCM-->Disable the SCM Sensor，打开

3）得到登录token令牌：
我的账号-->安全-->输入字符串：jenkinsTest-->得到登录token令牌

sonarqube的令牌：
jenkinsTest：e698cc590cc8f7362b30e6b987fd1e835bcb1186

4）创建项目
创建项目：esmc-->得到项目令牌-->得到maven扫描SonarQube的命令
项目令牌：

esmc-test: 9aad77f4ad3f3ecfc23c9178c7305e144991d0f6
maven扫描SonarQube的命令：
mvn clean verify sonar:sonar \
  -Dsonar.projectKey=esmc-test \
  -Dsonar.host.url=http://宿主机IP:9000 \
  -Dsonar.login=9aad77f4ad3f3ecfc23c9178c7305e144991d0f6

说明：登录token令牌和项目令牌，在后续配置jenkins的时候会用到，需要提前保存好。

6、配置pgAdmin4数据库
1）登录pgAdmin4，使用docker-compose.yml文件中配置的邮箱和密码。
pgAdmin4：http://宿主机IP:5433/
邮箱：test@123.com 密码:123456

2）新增server：
点击Add New Server按钮
--> General填写name：目前改成了PostgreSQL12
--> connection填写宿主机IP、用户名、密码：与docker-compose.yml配置文件中一致
--> 保存

3）查看表

五、Jenkins集成sonarScanner

说明：
如果已经在Docker中安装了SonarQube，一般不需要在服务器上单独安装SonarScanner。
SonarScanner是用于执行SonarQube分析的命令行工具，通常在Jenkins或其他CI/CD工具中集成并使用。
1、jenkins安装sonarQube插件

2、jenkins安装jacoco插件

3、sonarQube的配置：见前面配置

4、Jenkins配置sonarQube
1）添加凭证：
选择 Secret text 类型，输入 SonarQube令牌，然后Secret中填入之前生成的登录Token，ID只要不跟之前重复就行。

2）系统管理：填写sonar的地址，凭证

3）全局工具管理：SonarQube servers配置项，增加 SonarQube

4）项目流水线配置修改
构建环境勾选：Delete workspace before build starts
构建环境勾选：Prepare SonarQube Scanner environment

Build Steps将目标修改为：

clean verify sonar:sonar -Dsonar.projectKey=esmc-test -Dsonar.host.url=http://192.168.10.184:9000 -Dsonar.login=9aad77f4ad3f3ecfc23c9178c7305e144991d0f6 package -Dmaven.test.skip=true

保存后重新构建。

六、扫描结果


点击SonarQube，跳转到SonarQube平台查看结果：

结果分析：
后端应用esmc，待解决的BUG有32个，其中主要BUG有26个，次要BUG有6；严重漏洞有3个；异味有3.3K。
可靠性比率为D；安全性比率为D；安全审核等级为E；可维护性即SQALE评级为A；覆盖率为0.0%；重复行密度为4.5%；总代码行数为69961；圈复杂度为7126，认知复杂度为4589；违规问题3349，均为开启问题。