线性模型

输入的特征 x 乘上一个权重，再加上一个偏置就得到预测的结果，这样的模型称为线性模型。

分段线性曲线

线性模型有很大的限制，这一种来自于模型的限制称为模型的偏差，无法模拟真实的情况。红色的曲线可以看作是一个常数再加上一群 Hard Sigmoid 函数（蓝色函数）。红色的曲线即分段线性曲线。

在不同x值区间内，y与x的线性关系可以发生变化，如先增后减。分段线性函数在描述具有突变点的复杂关系时特别有用，如经济学中的需求函数。当分段线性模型不足以准确描述实际关系时，需要考虑更复杂的模型。此外，分段线性函数在优化问题中也有应用，如通过分段处理来简化问题求解。还了解到分段线性曲线可以由常数项与多个Hard Sigmoid函数组合而成，通过调整参数来模拟复杂的非线性关系。

模型变形

HardSigmoid 可以看作是两个修正线性单元（Rectified Linear Unit，ReLU）的加总。