分布式处理基础

• 分布式数据库、分布式文件系统、虚拟化、区块链等基本概念、主流框架

分布式数据库（DDB,Distributed Database)︰

• 数据库技术与网络技术相结合的产物。“集中计算"概念向“分布计算"概念发展。数据按实际需要已在网络上分布存储。分布式数据库是这些大型企业用户(如电商、金融、制造、零售等)承载核心业务的重要技术选型方向之一，是帮助企业处理大规模结构化数据的重要技术平台。为满足用户对分布式数据库的实际需求，同时帮助传统企业将核心业务逐步向云端迁移。支持分布式事务,具备金融级数据强一致性，满足企业级核心数据库对大容量、高并发、高可靠及高可用的苛刻要求。
  • 1.物理分布性：数据不是存储在一个场地上，而是存储在计算机网络的多个场地上。
  • 2.逻辑整体性︰数据物理分布在各个场地，但逻辑上是一个整体，它们被所有用户(全局用户）共享，并由一个DDBMS统一管理。
  • 3.场地自治性︰各场地上的数据由本地的DBMS 管理，具有自治处理能力，完成本场地的应用(局部应用)。数据独立性和事务管理的分布性。
  • 4.场地之间协作性：各场地虽然具有高度的自治性，但是又相互协作构成一个整体。

分布式文件系统(DFS，Distributed File System)

• 文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点(可简单的理解为一台计算机)相连，众多的节点组成一个文件系统网络。分布式文件系统的设计基于C/S 客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色，拥有了本地文件系统所无法具备的数据备份、数据安全等优点。
  • (1）数据的存储方式，可以在一个节点存储全部数据文件，在其他N个节点上每个节点存储数据文件作为备份﹔或者平均分配到N个节点上存储。目的都是为了保证数据的存储安全和方便获取。
  • (2）数据的读取速率，包括响应用户读取数据文件的请求、定位数据文件所在的节点、读取实际硬盘中数据文件的时间、不同节点间的数据传输时间以及一部分处理器的处理时间等。各种因素决定了分布式文件系统的用户体验。即分布式文件系统中数据的读取速率不能与本地文件系统中数据的读取速率相差太大,否则在本地文件系统中打开一个文件需要2秒,而在分布式文件系统中各种因素的影响下用时超过10 秒，就会严重影响用户的使用体验。
  • (3）数据的安全机制，由于数据分散在各个节点中，必须要采取冗余、备份、镜像等方式保证节点出现故障的情况下，能够进行数据的恢复，确保数据安全。

区块链(Blockchain)：

• 分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。是比特币的一个重要概念，它本质上是一个去中心化的数据库，同时作为比特币的底层技术，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次比特币网络交易的信息，用于验证其信息的有效性(防伪）和生成下一个区块。

• 国家互联网信息办公室2019年1月10日发布《区块链信息服务管理规定》，自2019年2月15日起施行。作为核心技术自主创新的重要突破口，区块链的安全风险问题被视为当前制约行业健康发展的一大短板,频频发生的安全事件为业界敲响警钟。拥抱区块链,需要加快探索建立适应区块链技术机制的安全保障体系。
  区块链是一个分布式的共享账本和数据库，具有去中心化、不可篡改、全程留痕、可以追溯、集体维护、公开透明等特点。这些特点保证了区块链的“诚实”"与“透明”，为区块链创造信任奠定基础。而区块链丰富的应用场景，基本上都基于区块链能够解决信息不对称问题，实现多个主体之间的协作信任与一致行动。

• 去中心化，开放性，独立性，安全性,匿名性。

• 架构︰区块链系统由数据层、网络层、共识层、激励层、合约层和应用层组成。

  • 核心功能都是维护一个分布式的账本
  • 数据层要保证账本数据不丢失和不可篡改；
  • 网络层要保证网络规模的可伸缩性，新节点能方便加入，少数节点掉线不能影响系统的可用性；
  • 共识层要保证账本数据的一致性；
  • 智能合约是对账本数据进行修改的程序，因此合约层需要保证智能合约执行的确定性和可终止性等性质；
  • 应用层要结合账本的性质，其业务应用应该与信任、资产或价值转移相关。

• 核心技术︰分布式账本，非对称加密，共识机制，智能合约。

• 分类︰公有区块链，联合(行业)区块链，私有区块链。

• 应用领域︰金融领域,物联网和物流领域，公共服务领域,数字版权领域,保险和公益领域。

• 主流框架︰

  • 比特币、以太坊、Fabric、EOS
    

物联网基础

• 物联网、传感技术、自组织网络/传感网络、常见协议及标准等

基本概念

• 指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术，实时采集任何需要监控、连接、互动的物体或过程,采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息,通过各类可能的网络接入，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理。物联网是一-个基 于互联网、传统电信网等的信息承载体,它让所有能够被独立寻址的普通物理对象形成互联互通的网络。

• 传感技术：同计算机技术与通信技术一起被称为信息技术的三大支柱。从物联网角度看,传感技术是衡量一一个国家信息化程度的重要标志。传感技术是关于从自然信源获取信息,并对之进行处理(变换)和识别的一门多学科交叉的现代科学与工程技术,它涉及传感器(又称换能器)、信息处理和识别的规划设计、开发、制/建造、测试、应用及评价改进等活动。

• 自组织网络(Ad Hoc)：一种移动通信和计算机网络相结合的网络，网络中的各个节点不需要直接连接，而是能够通过中继的方式，在两个距离很远而无法直接通信的节点之间传送信息。采用了计算机网络中的分组交换机制，而不是电话交换网中的电路交换机制
  用户可以随时处于移动或者静止状态。

• 特点：网络拓扑结构动态变化，多跳网络， 无线传输带宽有限，移动终端的局限性。

• 应用领域：军事通信，移动会议，移动网络，连接个域网络,紧急服务和灾难恢复，无线传感器网络。

• 常见协议及标准：

  • 近距离通信协议：

    • (1) RFID ：其原理为阅读器与标签之间进行非接触式的数据通信，达到识别目标的目的。RFID 的应用非常广泛，目前典型应用有动物晶片、汽车晶片防盗器、门禁管制、停车场管制、生产线自动化、物料管理。包括ISO/IEC 制定五种频段的空中接口协议。
      (2) NFC ：近距离无线通信(Near Field Communication 即近距离无线通讯技术，是-种短距离的高频无线通信技术，允许电子设备之间进行非接触式点对点数据传输(在10厘米内)交换数据。提供简单、触控式的解决方案，可以让消费者简单 直观地交换信息、访问内容与服务。这个技术由免接触式射频识别(RFID) 演变而来,并向下兼容RFID，最早由Philips、Nokia 和Sony主推，主要可能用于手机等手持设备中。由于近场通讯具有天然的安全性，因此, NFC技术被认为在手机支付等领域具有很大的应用前景。NFC将非接触读卡器、非接触卡和点对点(Peer-to-Peer)功能整合进一块单芯片。
      (3) Bluetooth ： -种无线数据与语音通信的开放性全球规范，工作在全球通用的2.4GHz ISM即工业、科学、医学)频段,标准是EEE802.15，工作在2.4GHz频带，带宽为1Mb/s.以低成本的近距离无线连接为基础，为固定与移动设备通信环境建立一个特别连接。以时分方式进行全双工通信,其基带协议是电路交换和分组交换的组合。同时，蓝牙技术支持1个异步数据通道或3个并发的同步话音通道，或1个同时传送异步数据和同步话音的通道。每-一个话音通道支持64kb/s的同步话音；异步通道支持最大速率为721kb/s，反向应答速率为57. 6 kb/的非对称连接，或者是432.6 kb/s的对称连接。

  • 远距离蜂窝通信协议主要是2/3/4/5G.NB-IoT等技术下的各电信运营商采用的制式、协议。

    • ( 1) ZigBee ：高可靠的无线数据传输网络，类似于CDMA和GSM网络。ZigBee数传模块类似于移动网络基站。ZigBee网络主要是为工业现场自动化控制数据传输而建立,因而，它必须具有简单，使用方便，工作可靠，价格低的特点；
      (2) LoRa： -种调制技术，与同类技术相比，提供更远的通信距离。由于LoRa调制是物理层(PHY)， 因此也可将其用于不同的协议和不同网络架构(如 Mesh、Star、 点对点)等等。

  • 有线通信协议：USB，RS232,RS485M-Bus

大数据基础

• 数据预处理、数据分析、数据模型、数据挖掘、可视化等基本概念

• 数据预处理：

  • 指在主要的处理前对数据进行的一些处理。
  • 如对大部分地球物理面积性观测数据在进行转换或增强处理之前，首先将不规则分布的测网经过插值转换为规则网的处理，以利于计算机的运算。另外，对于一些剖面测量数据，如地震资料预处理有垂直叠加、重排、加道头、编辑、重新取样、多路编辑等。
  • 主要方法：数据清理，数据集成，数据变换，数据归约等。
  • 提高数据挖掘模式的质量，减少挖掘所需时间。
  • 内容：
    • (1)数据审核：准确性审核，适用性审核，及时性审核，一致性审核；
    • (2)数据筛选：数据筛选包括两方面的内容：一
      • 剔除：不符合要求或有明显错误；
      • 筛选：符合某种特定条件的数据。
    • (3)数据排序：以便于研究者通过浏览数据发现一些明显的特征或趋势，找到解决问题的线索。

• 数据分析

  • 指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。
  • 目的：提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。数据分析是数学与计算机科学相结合的产物。
  • 类型：探索性数据分析，定性数据分析，离线数据分析，在线数据分析。
  • 方法：
    • 列表法
    • 作图法

• 数据模型(Data Model ）

  • 是数据特征的抽象。数据是描述事物的符号记录，模型(Model)是现实世界的抽象。数据模型从抽象层次上描述了系统的静态特征、动态行为和约束条件，为数据库系统的信息表示与操作提供了一个抽象的框架。
  • 数据模型所描述的内容有三部分：数据结构、数据操作和数据约束。
  • 类型：层次模型(概念模型，逻辑模型，物理模型)，网状模型，关系模型。

• 数据挖掘：指从大量的数据中通过算法搜索隐藏于其中信息的过程。

  • 通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠经验法则)和模式识别等诸多方法来实现上述目标。
  • 步骤：定义问题—建立数据挖掘库—分析数据—准备数据—建立模型—评价模型—实施。
  • 方法：分类→估值+预测→相关性分组或关联规则-→聚类

人工智能基础

• 机器学习、神经网络、深度学习等基本概念、模型

神经网络(NNsNeural Networks)

• 连接模型(Connection Model， 它是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度,通过调整内部大量节点之间相互连接的关系,从而达到处理信息的目的。

• 分类

  • 按其模型结构可分为前馈型网络(也称为多层感知机网络)和反馈型网络(也称为Hopfield网络)两大类，前者在数学.上可以看作是一类大规模的非线性映射系统，后者则是-类大规模的非线性动力学系统。按照学习方式又可分为有监督学习、非监督和半监督学习三类按工作方式则可分为确定性和随机性两类；按时间特性还可分为连续型或离散型两类。
  • 特点：不论何种类型，共同的特点是，大规模并行处理，分布式存储， 弹性拓扑，高度冗余和非线性运算。因而具有很高的运算速度，很强的联想能力，很强的适应性，很强的容错能力和自组织能力。这些特点和能力构成了人工神经网络模拟智能活动的技术基础，并在广阔的领域获得了重要的应用。在通信领域可以用于数据压缩、图像处理、矢量编码、差错控制(纠错和检错编码)、自适应信号处理、自适应均衡、信号检测、模式识别、ATM流量控制、路由选择、通信网优化和智能网管理等等。它将继续成为当代科学研究重要的前沿。

机器学习

• 一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径。

• 学习方法分类：模拟人脑的机器学习,直接采用数学方法的机器学习,归纳学习，演绎学习,类比学习，分析学习。监督学习，无监督学习，强化学习，结构化学习，非结构化学习，概念学习，规则学习，函数学习，类别学习，贝叶斯网络学习。

• 常用算法：决策树算法，朴素贝叶斯算法，支持向量机算法，随机森林算法，人工神经网络算法，Boosting与Bagging算法，关联规则算法，EM (期望最大化)算法。

典型硬件技术基础(ARM、 GPU、 FPGA等)

ARM (Advanced RISC Machine )

• 一款RISC微处理器，体积小、低功耗、低成本、高性能；支持Thumb (16 位) /ARM (32位)双指令集，能很好的兼容8位/16位器件。大量使用寄存器，指令执行速度更快。大多数数据操作都在寄存器中完成。寻址方式灵活简单，执行效率高。指令长度固定。

GPU (Graphics Processing Unit)

• 图形处理器又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上做图像和图形相关运算工作的微处理器。GPU使显卡减少了对CPU的依赖，并进行部分原本CPU的工作,尤其是在3D图形处理时GPU所采用的核心技术有硬件T&L(几何转换和光照处理)、立方环境材质贴图和顶点混合、纹理压缩和凹凸映射贴图、双重纹理四像素256位渲染引擎等,而硬件T&L技术可以说是GPU的标志。GPU的生产商主要有NVIDIA和ATI。

FPGA (Field Programmable Gate Arraly)

• 是在PAL、GAL 等可编程器件的基础上进一步发展的产物。它是作为专用集成电路(ASIC) 领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。
  应用：视频分割系统，数据延迟期和设计，通信行业，工业领域。