深度学习和机器学习的区别|自注意力机制和多头注意力机制的展示|售前面试题
分类
机器学习是人工智能的一个分支
深度学习是机器学习下的一个分支
模型结构
机器学习较为简单，可能就是几层，比如线性层
深度学习较为复杂，比如有些卷积层
数据
机器学习的数据量较少，一些分类任务可能几百几十个数据即可完成
深度学习所需数据较多，且数据维度大，需要成百上千个数据
计算资源
机器学习使用普通计算机即可完成，占用资源少
深度学习可能需要算力较好的GPU，占用资源多
应用领域
机器学习：机器学习在许多领域都有广泛的应用，如金融风险预测、医疗诊断、客户关系管理等。例如，在金融领域，机器学习可以用于预测股票价格走势、评估信用风险等；在医疗领域，机器学习可以用于疾病诊断、药物研发等。
深度学习：深度学习在图像识别、语音识别、自然语言处理等领域表现出色。例如，在自动驾驶领域，深度学习可以用于识别道路标志、行人和车辆等；在语音识别领域，深度学习可以实现高精度的语音转文字功能；在自然语言处理领域，深度学习可以用于机器翻译、文本生成等任务。
自注意力机制和多头注意力机制的展示
- 自注意力机制是Transformer的核心，它允许模型在处理序列数据时，同时关注序列中的所有位置。具体来说，自注意力机制通过计算输入序列中每个位置与其他位置的相关性（注意力权重），动态地加权求和这些位置的特征表示，从而生成每个位置的上下文表示。
优势：这种机制使得模型能够并行处理整个序列，大大提高了计算效率。同时，它能够更好地捕捉长距离依赖关系，对于理解自然语言中的复杂结构非常有效。
- 多头注意力机制是自注意力的扩展，它将输入序列分成多个不同的“头”（head），每个头独立地计算自注意力，然后将这些头的输出拼接起来，再通过一个线性变换进行整合。这样可以允许模型从不同的角度学习输入数据的特征。
优势：多头注意力机制使得模型能够捕捉到更丰富的特征信息，提高了模型的表达能力和灵活性。
阅读小说中的多头注意力
假设你正在阅读一本小说，小说中的人物关系错综复杂，情节发展跌宕起伏。为了更好地理解和享受这本小说，你需要同时关注多个层面的信息（我的理解是每个关注的信息就是一个自注意力机制）：
- 局部细节：关注句子内部的单词关系，理解具体的语法结构。
- 全局上下文：理解整个段落甚至章节之间的联系，把握故事的整体走向。
- 人物互动：分析人物对话及其背后的情感色彩，构建更加立体的角色形象。
多头注意力机制的工作方式类似于你在阅读小说时的这种多角度分析：
输入数据：假设你正在阅读的这段小说被转换为一个序列，每个单词或短语都有一个对应的向量表示（嵌入向量）。
多头注意力计算（所有头汇总起来就是多头）：
- 头1：专注于局部细节，比如句子内部的语法结构，帮助理解每个句子的含义。
- 头2：关注全局上下文，比如段落之间的联系，帮助理解整个故事的走向。
- 头3：分析人物互动，比如对话中的情感色彩，帮助理解人物之间的关系。
输出结果：将这些不同“头”的分析结果拼接在一起，得到一个更全面的文本表示，这个表示能够更好地捕捉到文本中的复杂信息。
