【写在前面】 飞腾开发者平台是基于飞腾自身强大的技术基础和开放能力，聚合行业内优秀资源而打造的。该平台覆盖了操作系统、算法、数据库、安全、平台工具、虚拟化、存储、网络、固件等多个前沿技术领域，包含了应用使能套件、软件仓库、软件支持、软件适配认证四大板块，旨在共享尖端技术，为开发者提供一个涵盖多领域的开发平台和工具套件。 点击这里开始你的技术升级之旅吧
本文分享至飞腾开发者平台《虚拟机中的时统卡功能和性能调优》
1 介绍
时统卡作为时统终端之一，可以输出准确的 UTC(Coordinated Universal Time)时间，作为授时功能模块广泛应用于航天、航海等领域中。PCI-Express（PCI-E）由于其点对点的串行设计以及双通道高带宽的传输模式，具有较高数据的传输速率，因此时统卡一般使用 PCI-E 接口接入计算机，称之为 PCI-E 时统卡。而随着虚拟化技术和云计算的飞速发展，越来越多的应用运行于云计算的虚拟机中，目前对于虚拟机中授时一般采用宿主机(host)上插入 PCI-E 时统卡进行授时，再通过网络对虚拟机进行授时的方法，不能直接在多台虚拟机中获得时统卡中断脉冲信号进行精度校准，具有较大的延迟。
本文旨在提供一种优化方案，解决时统卡在虚拟机中进行精度校准带来的延迟。
2 测试环境
2.1 宿主机环境
机器类型：FT-2000+/64 服务器
操作系统：centos7.6
内核版本：4.19.105
时统卡：pcie 时统卡
2.2 虚拟机环境
操作系统：centos7.6
内核版本：4.19.105
2.3 适配要求
时统卡为非标设备，需要特殊配置才可以支持，因此需确保三个条件：
1、首先必须确保在 BIOS 中使能 smmu。
2、内核需打上飞腾补丁，即内核中使能 smmu。
3、设备树文件（uboot）或 acpi 描述文件（UEFI）支持。
这3步做完才能在虚拟机中识别时统卡。此外，中断捕获异常是因为，arm平台对于INTx类型的中断没有做虚拟化的硬件支持，所以在arm平台的虚拟机中只能使用msi类型的中断。
3 系统参数调优
3.1 宿主机参数
1）cpu隔离，isolated_cores表示需要隔离的cpu
isolcpus=${isolated_cores}rcu_nocbs=${isolated_cores}rcu_nocb_pollnohz=onnohz_full=${isolated_cores}nmi_watchdog=0quiet2）禁止带宽限制
echo -1 > /proc/sys/kernel/sched_rt_runtime_usecho -1 > /proc/sys/kernel/sched_rt_period_us3）关闭隔离cpu的中断均衡，isolated_cpumask位与isolated_cores相对应
vim /etc/sysconfig/irqbalanceIRQBALANCE_BANNED_CPUS=${isolated_cpumask}3.2 虚拟机参数
1）虚拟机核绑定并设置调度类型和优先级，配置文件如下：
<cputune><vcpupin vcpu='0' cpuset='0'/><vcpupin vcpu='1' cpuset='1'/><vcpupin vcpu='2' cpuset='2'/><vcpupin vcpu='3' cpuset='3'/><vcpupin vcpu='4' cpuset='4'/><vcpupin vcpu='5' cpuset='5'/><vcpupin vcpu='6' cpuset='6'/><vcpupin vcpu='7' cpuset='7'/><vcpusched vcpus=’0-7’ scheduler=’fifo’ priority=’99’/></cputune>2）添加时统卡设备到虚拟机，address中bdf对应于pcie时统卡设备的总线号、设备号、功能号
<hostdev mode='subsystem' type='pci' managed='yes'><source><address domain='0x0000' bus='0x09' slot='0x00' function='0x0'/></source></hostdev>3）添加虚拟机内核启动参数，可在grub配置文件中添加以下参数：
nohltquietnosoftlockupnmi_watchdog=04 时统卡驱动优化
4.1 驱动架构设计和修改
1）原驱动程序中断处理程序BUG：对全局共享变量_isr未加锁保护，属内核编程错误。
原来的程序：
2）原驱动程序中断处理采用常用的上、下半部机制，且下半部使用netlink接口递送时间事件，不适合高性能、低延时的特点，属于编程架构设计不合理。
修改后的驱动中断处理程序：去掉中断下半部；重写时间事件分发处理逻辑；使用eventfd通
知机制。
3）时统卡字符设备的功能接口实现：重新实现其他必要的功能接口。
原来的驱动程序：
修改后的驱动程序：
在ioctl接口中实现evenfd的功能代码。
4）pci驱动probe里使能msi中断。
原来的pci probe驱动程序使能intx中断
修改后的驱动程序使能msi中断：
5）重写字符设备驱动代码：字符设备只需在module_init注册，无需在pci驱动的probe里注册。
原来的驱动程序：
修改后的驱动程序：字符驱动和pci驱动分开注册，代码简洁且更符合工程要求。
6）映射时统卡的bar空间到用户空间，便于用户空间线程直接轮询中断，进一步优化时间延迟。
static int dti_mmap(struct file *file, struct vm_area_struct *vma){int ret;unsigned long addr;spin_lock(&(dti_p->lock_reg));addr = dti_p->pci_addr;if (addr & (PAGE_SIZE - 1))return -ENOSYS;vma->vm_page_prot = pgprot_noncached(vma->vm_page_prot);ret = vm_iomap_memory(vma, addr, PAGE_SIZE);spin_unlock(&(dti_p->lock_reg));return ret;}7）实现时统卡设备其他的通用接口
static unsigned int dti_poll(struct file *file, poll_table *wait){int l;poll_wait(file, &dti_wait, wait);spin_lock_irq(&dti_lock);l = dti_has_irq;spin_unlock_irq(&dti_lock);if (l != 0)return POLLIN;return 0;}static ssize_t dti_read(struct file *file, char __user *buf, size_t
count, loff_t *ppos){DECLARE_WAITQUEUE(wait, current);unsigned long data;ssize_t retval;spin_lock_irq(&dti_lock);if (dti_has_irq == 0)return -EIO;spin_unlock_irq(&dti_lock);if (count != sizeof(unsigned int) && count != sizeof(unsigned long))return -EINVAL;add_wait_queue(&dti_wait, \&wait);do {__set_current_state(TASK_INTERRUPTIBLE);spin_lock_irq(&dti_lock);data = dti_has_irq;dti_has_irq = 0;spin_unlock_irq(&dti_lock);if (data != 0)9break;if (file->f_flags & O_NONBLOCK) {retval = -EAGAIN;goto out;}if (signal_pending(current)) {retval = -ERESTARTSYS;goto out;}schedule();} while (1);if (count == sizeof(unsigned int)) {retval = put_user(data, (unsigned int __user *)buf) ?: sizeof(int);} else {retval = put_user(data, (unsigned long __user *)buf) ?: sizeof(long);}if (!retval)retval = count;out:__set_current_state(TASK_RUNNING);remove_wait_queue(&dti_wait, &wait);return retval;}5 时统卡应用程序优化
5.1 应用程序架构设计和修改
1）主线程(master)的处理逻辑
测试程序如果在物理机上运行，主线程通过eventfd/poll接口轮询内核中断事件，可以到达测试目标。
测试程序如果在虚拟机上运行，主线程则需要直接轮询设备的中断寄存器，才可以达到测试目标。
下面以虚拟机为例：
2）从线程(slave)的处理逻辑
6 测试结果
1）下图表示未进行任何优化的结果。
2）下图表示最后的优化结果，且运行时间超过48h。
3）下图表示不同阶段的优化结果趋势图，其中横坐标表示中断频率，纵坐标表示中断丢失lost数。
推荐阅读
- 飞腾平台Ne10安装使用指南
- 飞腾平台VSIPL-FT安装使用指南
欢迎广大开发者来飞腾开发者平台获取更多前沿技术文档及资料
如开发者在使用飞腾产品有任何问题可通过在线工单联系我们
版权所有。飞腾信息技术有限公司 2023。保留所有权利。
未经本公司同意，任何单位、公司或个人不得擅自复制，翻译，摘抄本文档内容的部分或全部，不得以任何方式或途径进行传播和宣传。
商标声明
Phytium和其他飞腾商标均为飞腾信息技术有限公司的商标。
本文档提及的其他所有商标或注册商标，由各自的所有人拥有。
注意
本文档的内容视为飞腾的保密信息，您应当严格遵守保密任务；未经飞腾事先书面同意，您不得向任何第三方披露本文档内容或提供给任何第三方使用。
由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，飞腾在现有技术的基础上尽最大努力提供相应的介绍及操作指引，但飞腾在此明确声明对本文档内容的准确性、完整性、适用性、可靠性的等不作任何明示或暗示的保证。
本文档中所有内容，包括但不限于图片、架构设计、页面布局、文字描述，均由飞腾和/或其关联公司依法拥有其知识产权，包括但不限于商标权、专利权、著作权等。非经飞腾和/或其关联公司书面同意，任何人不得擅自使用、修改，复制上述内容。
