论文标题
英文标题：ETHEREAL: Energy-efficient and High-throughput Inference using Compressed Tsetlin Machine
中文标题：ETHEREAL：使用压缩Tsetlin机器实现能效高吞吐量推理
作者信息
Shengyu Duan, Newcastle University, Newcastle upon Tyne, UK
Rishad Shafik, Newcastle University, Newcastle upon Tyne, UK
Alex Yakovlev, Newcastle University, Newcastle upon Tyne, UK
论文出处
tinyML Research Symposium'25, February 2025, Austin, TX
摘要
本文介绍了一种名为ETHEREAL的模型压缩方法，用于Tsetlin机器（TM），旨在提高机器学习应用中的能效和吞吐量。Tsetlin机器是一种替代深度神经网络（DNN）的新型机器学习算法，通过Tsetlin自动机学习数据中的命题逻辑模式，而非依赖多路径算术运算。ETHEREAL通过在训练过程中引入排除状态，稀疏化TM的逻辑模式，从而在保持高分类精度的同时显著减小模型大小。实验表明，ETHEREAL模型在多个TinyML数据集上相比标准TM模型减少了高达87.54%的模型大小，仅牺牲了少量精度。此外，ETHEREAL在STM32F746G-DISCO平台上实现了比二值化神经网络（BNN）更高的吞吐量和更低的能耗，同时相比随机森林（RF）具有更小的内存占用。
1. 引言
随着机器学习在低能耗、资源受限的边缘应用中的需求不断增加，深度神经网络（DNN）的高计算需求成为一大挑战。Tsetlin机器（TM）作为一种低复杂度的替代方案，通过逻辑运算而非算术运算实现与DNN相当的精度，并具有可解释性。TM的结构包括三个主要过程：布尔化（Booleanization）、训练和推理。布尔化将输入数据转换为布尔形式的字面量；训练过程中，子句通过Tsetlin自动机学习字面量的子模式；推理则通过正负子句的多数投票完成分类。尽管TM在训练后表现出高稀疏性，但标准TM训练过程仍会引入与目标类别相关性较弱的字面量。本文提出的ETHEREAL方法通过排除这些字面量，进一步压缩TM模型，实现更高的能效和吞吐量。
2. Tsetlin机器学习动态
Tsetlin机器通过调整Tsetlin自动机（TA）的状态来学习支持或反对某个命题的子模式，这一过程由Type I和Type II反馈驱动。Type I反馈用于减少假阴性，通过增加或减少TA状态来强化或削弱字面量的包含关系；Type II反馈则用于减少假阳性，通过调整TA状态改变错误的子句输出。尽管这种反馈机制能够快速收敛并提高精度，但它忽略了字面量与目标类别的相关性，导致许多不重要的字面量被包含在模型中。
3. ETHEREAL模型压缩
3.1 字面量的重要性
通过实验发现，TM在训练过程中会逐渐增加包含的字面量数量，但这些字面量并非都与分类任务强相关。例如，在MNIST数据集中，靠近数字轮廓的特征更可能被包含在正负子句中，而靠近图像边界的特征则因缺乏区分性而被同时包含在正负子句中。这些不重要的字面量可以通过ETHEREAL方法被识别并排除。
3.2 ETHEREAL训练过程
ETHEREAL训练过程包括交替的标准训练和排除步骤。首先进行若干轮标准训练，以恢复可能错误排除的字面量；然后识别同时出现在正负子句中的字面量，并将其TA状态调整为排除状态。通过这种方式，ETHEREAL能够在保持高精度的同时显著减少模型大小。实验表明，ETHEREAL在MNIST数据集上实现了46.6%的模型大小减少，仅牺牲了0.8%的精度。
4. 实验评估
4.1 实验设置
本文选择8个TinyML数据集进行实验，包括基于肌电图（EMG）的手势识别、气体传感器漂移、手势阶段分割、人类活动识别、乳腺X线摄影肿块、无传感器驱动诊断、体育活动和车辆轮廓数据集。通过调整超参数，ETHEREAL模型在这些数据集上表现出显著的模型大小压缩效果，同时仅牺牲少量精度。
4.2 离线评估
ETHEREAL在多个数据集上显著减少了字面量的包含数量（39.29%-87.54%），精度下降幅度仅为0.78%-3.38%。对于某些数据集（如乳腺X线摄影肿块和车辆轮廓），ETHEREAL甚至在减少字面量后精度有所提高。这表明ETHEREAL在去除噪声特征的同时保留了重要特征，从而在某些情况下提高了模型性能。
4.3 在STM32F746G-DISCO上的在线评估
ETHEREAL在STM32F746G-DISCO微控制器上的实验结果表明，相比随机森林（RF）和二值化神经网络（BNN），ETHEREAL在推理时间、能耗和内存占用方面表现出显著优势。ETHEREAL的推理时间比BNN快10倍以上，能耗降低超过10倍，同时内存占用比RF减少约7倍。这些结果表明ETHEREAL在资源受限的边缘设备上具有显著的能效优势。
5. 结论
ETHEREAL通过在训练过程中排除不重要的字面量，显著减少了Tsetlin机器的模型大小，同时仅牺牲少量精度。这种压缩方法在推理时间、能耗和内存占用方面带来了显著的改进，使其在资源受限的边缘设备上具有很高的应用价值。与BNN相比，ETHEREAL在推理时间和能耗方面表现出超过10倍的提升；与RF相比，ETHEREAL在内存占用方面减少了约7倍。ETHEREAL为在低功耗、高吞吐量的边缘设备上实现高效的机器学习模型提供了一种新的解决方案。
