信息系统运行管理员教程5--信息系统数据资源维护

第五章 信息系统数据资源维护

第1节 信息系统数据资源维护体系

信息系统数据资源的维护包括建立数据运行与维护相关的管理制度,规范运行与维护业务流程,有效开展运行监控与维护、故障的诊断和排除、数据的备份和恢复、数据的归档和检索等,保障数据资源处于高可用状态,使信息系统可持续稳定高效地运行。

1.数据资源维护的管理对象

信息系统数据资源维护对象包括数据文件、数据管理系统和存储介质。

2.数据资源维护的管理类型

数据资源的维护工作主要包括运行监控、故障响应和数据优化3类。

运行监控: 运行监控指数据维护人员进行周期性、预定义的维护活动,及时获取数据资源状态,包括实时监控、预防性检查和常规作业。

数据的预防性检查包括数据完整性检查、数据冗余检查及数据脆弱性检查。

故障响应: 故障响应是系统维护管理人员针对服务请求或故障申报而进行的响应性支持服务。分为事件驱动响应、服务请求响应和应急响应。

事件驱动响应:由于不可测的原因导致服务对象整体或部分功能丧失、性能下降、触发将服务对象恢复到正常状态的服务活动。

服务请求响应:由于需方提出各类服务请求引发的,需要针对服务对象、服务等级做出调整或修改的响应型服务。

应急响应:当发生重大事件、重大自然灾害,或由于政府发出行政命令,或需方提出要求时,应当启用应急处理程序。

数据备份: 对数据产生、存储、备份、分发、销毁等过程进行的操作,或对数据的应用范围、应用权限、数据优化、数据安全等内容按事先规定的程序进行的例行性作业,如数据备份、数据恢复、数据转换、数据分发、数据清洗等。

归档检索: 根据需求对归档的数据进行查找的工作,它是开展提供利用工作的基本手段,是开发规定数据资源的必要条件。

数据优化: 数据优化是系统维护人员通过优化改进,达到提高设备性能或管理能力的目的。

3.数据资源维护的管理内容

数据资源维护管理包括:

维护方案: 根据信息系统的应用需求、可能产生的破坏程度、经济损失、社会影响程度,划分应急处理等级和响应时间,并制定数据运行与维护总体方案。

例行管理: 对数据资源载体(存储介质)和传输、转储的设备进行有效管理,对历史数据进行定期归档。

应急响应: 制定应急故障处理预案,设立应急故障处理小组,确定详细的故障处理步骤和方法;制定灾难恢复技术,进行灾难演练,以防备系统崩溃和数据丢失;灾难发生后,应急故障处理小组能及时采取措施实现数据保护及系统的快速还原与恢复。

数据资源的开发与利用: 对数据资源进行整理和分析,采用知识发现工具有目的地挖掘数据,可以从中获取新的信息或知识。

第2节 信息系统数据资源例行管理

数据资源例行管理是一种预防性的维护工作,它是在系统正常运行过程中,定期采取一定的监控、检测与保养工作,及时发现并消除系统运行缺陷或隐患,使系统能够长期安全、稳定、可靠地运行。

1.数据资源例行管理计划

例行管理计划中需李处监控监测的对象、重要性等级以及常规操作方法,监控检测的频次或周期、正常状态值和报警阙值等。

序号管理任务操作内容重要性检测时间
1数据库检查检查并记录数据库增长情况,检查数据库是否有死锁现象重要
2数据备份检查备份内容的正确性,检查是否会出现数据备份失败的现象,是否存在大数据量备份记录条数丢失的现象重要
3数据恢复检查是否会出现数据备份恢复失败的现象,检查在各个数据库中小数位长度不一致的现象重要
2.数据资源载体的管理

存储数据资源的介质必须具有明确的标识;标识必须使用统一的命名规范,注明介质编号、备份内容、备份日期、备份时间、启用日期和保留期限等重要信息。存储介质的管理包括借用、转储、销毁等环节。

存储介质借用管理: 存储介质借用流程

填写介质使用申请书、负责人审批、填写介质借用登记表、领用介质、使用介质、归还介质、填写归还介质登记表。

存储介质转储管理: 存储介质转储流程

填写介质转储申请书、负责人审批、原始介质准备、依照操作手册进行转储、记录转储日志、提交备份管理人员存档、填写介质存储登记表。

存储介质销毁管理: 存储介质销毁流程

填写介质销毁申请书、负责人审批、原始介质准备、数据销毁、提交相关部门物理销毁、填写介质销毁登记表。

3.数据库例行维护

数据库文件是存储数据资源的重要形式,目前常用的数据库管理系统有SQL Server、Oracle、Informix、Sybase等。

数据库例行维护一般包括:健康检查、数据库监测管理、数据库备份与恢复、数据库性能优化。

健康检查:

数据库日志检查:在数据库系统中,对数据的任何更新操作,都要把相关操作的命令、执行时间、数据的更新等信息保存下来,这些被保存的信息就是数据库日志,即数据库日志是数据库系统中所有更新活动的操作序列。

数据库一致性检查:对数据库的物理和逻辑一致性进行检查,数据库控制台命令DBCC可用于数据库的一致性检查。

DBCC语句分类:

语句分类执行
维护语句对数据库、索引或文件组进行维护的任务
杂项语句诸如启用行级锁定或从内存中删除动态链接库等杂项任务
状态语句状态检查
验证语句对数据库、表、索引、目录、文件组、系统表或数据库页的分配进行的验证操作

数据库监测管理:

数据库基本信息监测包括数据库的文件系统、碎片、死锁进程的监测,数据库可设置死锁检测进程执行的间隔时间,死锁检测进程负责监测、处理数据库系统中出现的死锁。

数据库表空间监测。

数据库文件I/O监测。

数据库备份与恢复:

数据库备份:数据库备份就是将数据库中的数据及数据库的物理和逻辑结构等相关数据字典信息,存放在其他的存储介质中进行保存。

数据库故障及恢复:与数据库运行相关的故障一般包括事务故障、系统故障和介质故障。

数据库性能优化: 数据库维护人员根据用户需求和监测结果对数据库性能进行调整和优化,如执行空间释放、表的重构、索引重建、数据分片等操作。

4.Oracle数据库监控

Oracle数据库的监控可以通过系统自带的语句或者一些监控软件如:Spotlight on Oracle。

监控方式包括:检查数据库基本状况;检查Oracle相关资源的使用情况;检查Oracle数据库备份结果;检查Oracle数据库性能;检查数据库CPU、I/O、内存性能;检查数据库安全性;其他检查。

5.SQL Server监控

使用SQL事件探查器和性能监控工具有效地诊断性能问题。

SQL事件探查器的基本用法: 启动SQL事件探查器,连接到目标数据库实例,创建一个新跟踪,指定一个跟踪模版;选择特定事件和列;设置过滤器;运行事件探查器,等待捕捉事件;停止事件探查器,将跟踪信息保存到一个文件中或数据表中;执行SQL查询语句找出执行代价较高的TSQL。

有效利用SQL事件探查器排除与性能相关的问题: 使用现有的模板;捕捉表扫描和死锁事件;创建重放跟踪;创建优化跟踪;捕捉showplan在事件探查器中包括SQL执行计划。

使用性能监视工具(PerfMon)诊断性能问题: 它可以定期收集硬件和软件相关的统计数据,它还是Windows操作系统内置的一个免费的工具。

性能监视器基本用法介绍: 在SQL事件探查器中启动性能监视工具;创建一个新的性能计数器日志;选择一个需要的计数器,指定收集计数器数据的间隔时间;选择要监视的对象和选定对象的实例;指定日志文件保存位置;指定计数器开始和结束日期;设置计数器停止条件;查看日志数据。

第3节 信息系统数据资源备份

1.数据资源备份类型

按数据备份模式分: 逻辑备份、物理备份。

按备份过程中是否可接收用户响应和数据更新分: 冷备份、热备份。

按数据备份策略分: 完全备份、增量备份、差异备份。

按备份的实现方式分: 远程磁带库、光盘库备份;远程关键数据+磁带备份;远程数据备份;网络数据镜像;远程镜像磁盘。

按数据备份的存储方式分: 直接附加的存储方式DAS;存储区域网络方式SAN;网络附加存储方式NAS。

2.常用备份相关技术

磁盘陈列技术:

磁盘阵列简称RAID,是由很多价格较便宜的磁盘,组合成一个容量巨大的磁盘组,利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。

RAID常用级别的比较:

RAID等级特点硬盘及容量性能及安全典型应用
raid 0用于平行存储,即条带。其原理是把连续的数据分成几份,分散存储到陈列中的各个硬盘上。任何一个硬盘故障,都将导致数据丢失。硬盘数:一个或更多;容量:总的磁盘容量性能:读写性能高,随机写性能高;安全:无冗余,无热备盘,无容错性,安全性低无故障的迅速读写,要求安全性不高,如图形工作站等
raid 1镜像存储。其原理是把相同的数据分别写入阵列中的每一块磁盘中,最大限度地保证用户数据的可用性和可修复性。缺点是存储成本高硬盘数:两个或2×N个;容量:总磁盘容量的50%性能:读写性能低,随机写性能低;安全:利用复制进行冗余,有热备盘,可容错,安全性高随机数据写入,要求安全性高,如服务器、数据库存储领域
raid 5分布奇偶位条带。是一种存储性能、数据安全和存储成本兼顾的存储方案,也可理解为RAID 0和RAID 1的折中方案。硬盘数:三个或更多;容量:(n-1)/n的总磁盘容量(n为磁盘数)性能:随机和连续写性能低,读性能高;安全:利用奇偶校验进行冗余,可容错,安全性高随机数据传输要求安全性高,如金融、数据库、存储等
raid 10镜像陈列条带。兼顾存储性能和数据安全,提供了与RAID 1 一样的数据安全保障,同时具备与RAID 0近似的存储性能。缺点是存储成本高硬盘数:四个或4×N个;容量:总磁盘容量的50%性能:读写性能适中;安全:利用复制进行冗余,可容错、安全高适用于要求存取数据量大,安全性高,如银行、金融等领域

双机热备:

双机热备包含广义与狭义两种意义。从广义上讲,就是对于重要的服务使用两台服务器,互相备份,共同执行同一服务,当一台服务器出现故障时,可以由另一台服务器承担服务任务,从而在不需要人工干预的情况下,自动保证系统能持续提供服务。从狭义上讲,双机热备特指基于Active/Standby方式的服务器热备,数据同时往两台或多台服务器写,或者使用一个共享的存储设备,在同一时间只有一台服务器运行,当其中一台服务器出现故障无法启动时,另一台备份服务器会通过软件诊测将备用主机激活,保证应用在短时间内完全恢复正常。

3.某公司数据备份管理制度实例

为规范公司数据备份管理工作,合理存储历史数据及数据,保证数据的安全性,防止因硬件故障、意外断电、病毒等因素造成数据的丢失,保障公司正常的知识产权利益和技术资源的储备。备份工作应由系统管理员安排专人负责。备份管理人员负责制定备份、恢复策略,组织实施备份、恢复操作,指导备份介质的取放、更换和登记工作。日常备份操作可由备份管理人员完成。

第4节 云环境下的数据资源存储及维护

1.云存储技术

云存储是通过采用网格技术、分布式文件系统、集群应用等功能将网络中海量的异构存储设备用软件来控制,并共同提供数据存储访问、处理功能的一个系统服务。

2.云环境下的数据资源维护

云计算是一种以数据为中心的超级计算,在数据存储、数据管理和数据安全等方面具有独特的技术。

第5节 信息系统数据资源的开发与利用

数据资源的开发与利用包含两个层面的含义。首先,数据应当得到有效的组织和管理,才能通过系统化的应用服务于组织的管理和决策;其次,对数据资源的利用存在一个由浅入深、由单一到综合的提升过程。

1.数据仓库

按功能结构划分,数据仓库系统至少应包含数据获取、数据存储、数据访问三个关键部分。整个数据仓库系统是一个包含四个层次的体系结构。

2.数据挖掘

数据挖掘是通过挖掘数据仓库中存储的大量数据,从中发现有意义的新的关联模式和趋势的过程。

根据知识类型将数据挖掘划分为:概念描述;关联规则;分类和预测;聚类;时间序列数据分析。

3.数据挖掘在电子商务中的应用

数据挖掘的具体应用方面: 找到潜在客户;实现客户驻留;改进站点的设计;进行市场预测。

面向电子商务的数据挖掘过程: 数据准备;发现模式;分析、解释模式。

4.数据挖掘在应用中面临的问题

数据挖掘分析变量的选择;数据抽取的方法的选择;数据趋势的预测;数据模型的可靠性;数据挖掘及数据的私有性和安全性;数据挖掘结果的不确定性。

5.Web数据挖掘技术

技术概述: Web数据挖掘主要包括三种数据挖掘任务。对web内容的挖掘、对web结构的挖掘、对web访问的挖掘。

web挖掘技术与流程: web挖掘指使用数据挖掘技术在www数据中发现潜在的、有用的模式或信息。包括查找资源、模式发现、模式分析。

web数据挖掘技术在电子商务中的应用:

在web使用模式数据挖掘中,数据的来源主要有以下3个方面:服务器端数据的收集;包监测技术;后台数据库里的原有数据。

web数据挖掘技术实现的总体流程: 确立目标样本;提取特征信息;网络信息获取;信息特征匹配。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/35141.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ccfcsp3402矩阵重塑(其二)

//矩阵重塑&#xff08;其二&#xff09; #include<iostream> using namespace std; int main(){int n,m,t;cin>>n>>m>>t;int c[10000][10000];int s0,sum0;int d[10000],k[100000];for(int i0;i<n;i){for(int j0;j<m;j){cin>>c[i][j];d[s…

MCP和Function Calling的区别

文章目录 1、什么是MCP1.1、定义和特点1.2、架构和工作原理3.3、MCP 的主要优势 2、什么是Function Calling3、MCP和Function Calling的区别4、总结 &#x1f343;作者介绍&#xff1a;双非本科大四网络工程专业在读&#xff0c;阿里云专家博主&#xff0c;前三年专注于Java领域…

裂缝识别系统 Matlab GUI设计

使用说明 裂缝识别系统 Matlab GUI设计 &#xff0c;运行环境Matlab2023b及以上&#xff1b; 一种基于MATLAB图形用户界面&#xff08;GUI&#xff09;的裂缝自动识别系统&#xff0c;该系统利用数字图像处理技术实现裂缝图像的预处理&#xff0c;集成均衡化、噪声滤波、对比…

【源码分析】Nacos实例注册流程分析-事件驱动框架

【踩坑记录】 本人下载的Nacos 服务端版本是2.3.2&#xff0c;在开始进行源码编译便遇到问题&#xff0c;下面是各个问题记录 源码大量爆红 在最开始用Idea加载Maven项目的时候&#xff0c;发现项目中大量的代码爆红&#xff0c;提示其类或者包不存在&#xff0c;后来结果查…

51单片机指令系统入门

目录 基本概念讲解 一、机器指令​ 二、汇编指令​ &#xff08;一&#xff09;汇编指令的一般格式 &#xff08;二&#xff09;按字节数分类的指令 三、高级指令 总结​ 基本概念讲解 指令是计算机&#xff08;或单片机&#xff09;中 CPU 能够识别并执行的基本操作命令…

mysql5.x和mysql8.x查看和设置隔离级别

MySQL的隔离级别 级别标志值描述读未提交READ-UNCOMMITTED0存在脏读、不可重复读、幻读的问题读已提交READ-COMMITTED1解决脏读的问题&#xff0c;存在不可重复读、幻读的问题可重复读REPEATABLE-READ2mysql 默认级别&#xff0c;解决脏读、不可重复读的问题&#xff0c;存在幻…

【函数式编程】【C#/F#】第四讲:单子与函子 - 抽象的编程模式

在第二讲中我们探讨了一个诚实的函数应该要做到什么事&#xff0c;并运用了一种方法&#xff0c;让我们可以去准确的描述数据。 不过有一种情况让我们始料未及&#xff0c;例如网站需要收集一些信息&#xff0c;但有些信息不是必须的&#xff0c;是可有可无的。如果我们要去准…

【vue2 + Cesium】使用Cesium、添加第三方地图、去掉商标、Cesium基础配置、地图放大缩小事件、获取可视区域、层级、高度

参考文章&#xff1a; vue2 使用 cesium 篇【第一篇】 vue2 使用 cesium 【第二篇-相机视角移动添加模型】 vue2 项目模版&#xff1a; vue2-common 安装 cesium npm install cesium --save这个就很简单&#xff0c;只需要一句简简单单的命令就可以实现在 vue 项目中安装 ce…

vllm-openai多服务器集群部署AI模型

服务器配置是两台ubantu系统电脑,每台电脑安装两张4090-48G显存的显卡,共计192G显存。 服务器1 服务器2 准备工作: 1.两台电脑都已经安装了docker 2.两台电脑都已经安装了nvidia驱动 参考vllm官方资料 https://docs.vllm.ai/en/latest/serving/distributed_serving.html…

【电源】斩波电路

文章目录 前言定义概念 缩写降压斩波电路使用步骤总结参考文献 前言 进行大创项目开发的学习 bilibili 定义概念 缩写 斩波电路&#xff1a;分为降压&#xff0c;电荷泵&#xff0c;升压&#xff0c;升降压&#xff0c;Cuk&#xff0c;Speic&#xff0c;Zeta 等等 降压斩…

Hadoop集群组成

&#xff08;一&#xff09;Hadoop的组成 对普通用户来说&#xff0c; Hadoop就是一个东西&#xff0c;一个整体&#xff0c;它能给我们提供无限的磁盘用来保存文件&#xff0c;可以使用提供强大的计算能力。 在Hadoop3.X中&#xff0c;hadoop一共有三个组成部…

c++基础知识-图论进阶

一、拓扑排序 1、基础知识 1&#xff09;什么是拓扑排序 对一个有向无环图G进行拓扑排序&#xff0c;是将G中所有顶点排成一个线性序列&#xff0c;使得图中任意一对顶点u和v&#xff0c;若&#xff0c;则u在线性序列中出现在v之前。 2&#xff09;拓扑排序的操作方法 重复执行…

从Scaling Laws中解析大模型训练的边际递减临界点

前言 当我们拆解GPT-4到DeepSeek的演进路径&#xff0c;会发现一个反直觉的真相&#xff1a;​AI的智能跃迁不依赖参数堆砌&#xff0c;而取决于对"结构-能量-信息"三元关系的精准把控。就像人类大脑在进化中通过皮层折叠而非单纯增大体积来实现智能突破&#xff0c…

Word 小黑第20套

对应大猫21 特定一页设为横向 上下用分页符

【从0到1搞懂大模型】RNN基础(4)

先说几个常用的可以下载数据集的地方 平台&#xff1a;kaggle&#xff08;https://www.kaggle.com/datasets&#xff09; 和鲸社区&#xff08;https://www.heywhale.com/home&#xff09; 阿里天池&#xff08;https://tianchi.aliyun.com/&#xff09; 其他&#xff1a;海量公…

openEuler24.03 LTS下安装MySQL8

前提条件 拥有openEuler24.03 LTS环境&#xff0c;可参考&#xff1a;Vmware下安装openEuler24.03 LTS 步骤 卸载原有mysql及mariadb sudo systemctl stop mysql mysqld 2>/dev/null sudo rpm -qa | grep -i mysql\|mariadb | xargs -n1 sudo rpm -e --nodeps 2>/dev/…

如何在Odoo 18中实现OWL通知服务

如何在Odoo 18中实现OWL通知服务 OWL&#xff08;Odoo Web Library&#xff09;是Odoo的前端框架&#xff0c;用于构建现代化的动态响应式用户界面。在早期版本中&#xff0c;Odoo 前端设计与开发使用的是诸如 QWeb 这类较为老旧的框架&#xff0c;而随着 Odoo 每发布一个新版本…

Unet nn-Unet

Unet && nn-Unet&#xff1a; 文章题目&#xff1a;U-Net: Convolutional Networks for Biomedical Image Segmentation 代码&#xff1a;https://lmb.informatik.uni-freiburg.de/people/ronneber/u-net/ 文章题目&#xff1a;nnU-Net: Self-adapting Framework for U…

【扩散模型入门】Latent Diffusion

1. 概述 扩散模型为公众所知的一个主要原因是Stable Diffusion(SD)的推出展现出了远超以往的图像合成效果,而SD的主要技术就是Latent Diffusion Model(LDM)。 实际上,LDM的核心idea非常简单: 为了确保生成质量,LDM尽可能提升去噪模型的规模。提升模型规模往往也会同步…

搭建主从服务器

任务需求 客户端通过访问 www.nihao.com 后&#xff0c;能够通过 dns 域名解析&#xff0c;访问到 nginx 服务中由 nfs 共享的首页文件&#xff0c;内容为&#xff1a;Very good, you have successfully set up the system. 各个主机能够实现时间同步&#xff0c;并且都开启防…