在节假日前12306的访问量就会急剧增加,在这种海量用户高并发的情况下就容易出现网站崩溃的情况,造成网站奔溃的罪魁祸首就是关系型数据库,因为关系型数据库有:
- 性能瓶颈:磁盘IO性能低下
- 扩展瓶颈:数据关系复杂,扩展性差,不便于大规模集群
为了解决这一现象,我们可以:
- 降低磁盘IO次数,越低越好 ————内存存储
- 去除数据间关系,越简单越好 ————不存储关系,仅存储数据
这时我们就可以用到非结构化数据库NOSQL(not only sql)了
NOSQL与我们传统的关系型数据库相比:
优点:
1. 成本:nosql数据库简单易部署,基本都是开源软件,不需要像使用oracle那样花费大量成本购
买使用,相比关系型数据库价格便宜。
2. 查询速度:nosql数据库将数据存储于缓存之中,关系型数据库将数据存储在硬盘中,自然查询
速度远不及nosql数据库。
3. 存储数据的格式:nosql的存储格式是key,value形式、文档形式、图片形式等等,所以可以存 储 基础类型以及对象或者是集合等各种格式,而数据库则只支持基础类型。
4. 扩展性:关系型数据库有类似join这样的多表查询机制的限制导致扩展很艰难。
缺点:
1. 维护的工具和资料有限,因为nosql是属于新的技术,不能和关系型数据库10几年的技术同日而 语。
2. 不提供对sql的支持,如果不支持sql这样的工业标准(不遵循SQL标准),将产生一定用户的学习 和使用成本。
3. 不提供关系型数据库对事务的处理。
基于上面的优缺点我们就常用非关系型数据库查询一些不太经常发生变化的数据,用缓存的思想来查询数据库,从缓存中获取数据,如果缓存中有这个数据就直接返回数据;没有数据就从数据库查询数据,再将数据放入缓存中,再返回数据。
其中Redis就是NOSQL中的一个主流产品,它是用 C 语言开发的一个开源的高性能键值对(key-value)数据库。
Redis的特点有:
1. 数据间没有必然的关联关系
2. 内部采用单线程机制进行工作
3. 高性能,官方提供测试数据,50个并发执行100000 个请求,读的速度是110000 次/s,写的速度是
81000次/s。
4. 多数据类型支持
- 字符串类型 string String
- 列表类型 list LinkedList
- 散列类型 hash HashMap
- 集合类型 set HashSet
- 有序集合类型 sorted_set TreeSet
5. 持久化支持。可以进行数据灾难恢复
Redis数据存储格式:
redis 自身是一个 Map,其中所有的数据都是采用 key : value 的形式存储
数据类型指的是存储的数据的类型,也就是 value 部分的类型,key 部分永远都是字符串
key的语法:
- 在一个项目中,key最好使用统一的命名模式
- key区分大小写
- key不要太长,尽量不要超过1024字节。不仅消耗内存,也会降低查找的效率
- key不要太短,太短可读性会降低
Redis5种常用数据类型的常见命令
String:
存储的数据:单个数据,最简单的数据存储类型,也是最常用的数据存储类型
存储数据的格式:一个存储空间保存一个数据
存储内容:通常使用字符串,如果字符串以整数的形式展示,可以作为数字操作使用
添加/修改数据
set key value(存储一个键为key,值为value的对象)
获取数据
get key //获取键为key的数据所对应的值
删除数据
del key //删除键为key的数据
添加/修改多个数据
mset key1 value1 key2 value2....
获取多个数据
mget key1 key2....
获取数据字符个数(字符串长度)
strlen key
追加信息到原始信息后部(如果原始信息存在就追加,否则新建)
append key value
按照范围获取
GETRANGE key 开始下标 结束下标
替换
SETRANGE key 位置
先get然后再set
getset key value
设置数值数据增加指定范围的值
incr key //加1
incrby key increment //加整数类型的increment
incrbyfloat key increment //加浮点数类型的increment
设置数值数据减少指定范围的值
decr key //减一
decrby key increment //减整数increment
设置数据具有指定的生命周期
setex key seconds value //设置数据键为key 存活时间为seconds秒 值为value
psetex key milliseconds value //与上文setex用法基本相同,但要注意milliseconds的单位是毫秒
设置key的过期时间(EXPIRE 命令返回1表示设置成功,返回0表键不存在或设置失败。)
EXPIRE key seconds //设置一个已存在的key的过期时间 seconds的单位是秒
查看key的剩余时间
ttl key
Hash:
hash哈希特点
新的存储需求:对一系列存储的数据进行编组,方便管理,典型应用存储对象信息
需要的存储结构:一个存储空间保存多个键值对数据
hash类型:底层使用哈希表结构实现数据存储
hash存储结构优化
如果field数量较少,存储结构优化为类数组结构
如果field数量较多,存储结构使用HashMap结构
添加/修改数据
hset key field value
添加,但是有则不添加,无则添加
hsetnx key field value
获取数据
hget key field
hgetall key
删除数据
hdel key field1 [field2]
添加/修改多个数据
hmset key field1 value1 field2 value2 …
获取多个数据
hmget key field1 field2 …
获取哈希表中字段的数量
hlen key
获取哈希表中是否存在指定的字段
hexists key field
获取哈希表中所有的字段名或字段值
hkeys key
hvals key
设置指定字段的数值数据增加指定范围的值
hincrby key field increment
hincrbyfloat key field increment
hash 类型数据操作的注意事项
1.hash类型下的value只能存储字符串,不允许存储其他数据类型,不存在嵌套现象。如果数据未获取到,对应的值为(nil)
2.每个 hash 可以存储 2^32^-1个键值对
3.hash类型十分贴近对象的数据存储形式,并且可以灵活添加删除对象属性。但hash设计初衷不是为了存储大量对象而设计的,切记不可滥用,更不可以将hash作为对象列表使用
4.hgetall 操作可以获取全部属性,如果内部field过多,遍历整体数据效率就很会低,有可能成为数据访问瓶颈
List
数据存储需求:存储多个数据,并对数据进入存储空间的顺序进行区分
需要的存储结构:一个存储空间保存多个数据,且通过数据可以体现进入顺序
list类型:保存多个数据,底层使用双向链表存储结构实现
添加/修改数据
lpush key value1 [value2] ……
rpush key value1 [value2] ……
获取数据
lrange key start stop
lindex key index
llen key
获取并移除数据
lpop key
rpop key
通过下标截取指定的长度,这个list已经被改变了,只剩下截取的元素
ltrim key start end
lset将列表中指定下标的值替换为另外一个值,更新操作
lset key 下标 新数据 # 如果不存在列表我们去更新就会报错
将某个具体的value插入到列中的某个元素的前面或者后面!
LINSERT mylist before "world" "other"
LINSERT mylist after "world" "other"
规定时间内获取并移除数据 b代表block阻塞
blpop key1 [key2] timeout
brpop key1 [key2] timeout
list 类型数据操作注意事项
1.list中保存的数据都是string类型的,数据总容量是有限的,最多2^32^-1个元素 (4294967295)
2.list具有索引的概念,但是操作数据时通常以队列的形式进行入队出队操作,或以栈的形式进行入栈出
栈操作
3.获取全部数据操作结束索引设置为-1
4.list可以对数据进行分页操作,通常第一页的信息来自于list,第2页及更多的信息通过数据库的形式加 载
Set
新的存储需求:存储大量的数据,在查询方面提供更高的效率
需要的存储结构:能够保存大量的数据,高效的内部存储机制,便于查询
set类型:与hash存储结构完全相同,仅存储键,不存储值(nil),并且值是不允许重复的
添加数据
sadd key member1 [member2]
获取全部数据
smembers key
删除数据
srem key member1 [member2]
获取集合数据总量
scard key
判断集合中是否包含指定数据
sismember key member
sorted_set
新的存储需求:数据排序有利于数据的有效展示,需要提供一种可以根据自身特征进行排序的方式
需要的存储结构:新的存储模型,可以保存可排序的数据
sorted_set类型:在set的存储结构基础上添加可排序字段
添加数据
zadd key score1 member1 [score2 member2]
获取全部数据
zrange key start(开始索引) stop(结束索引) [WITHSCORES] #[WITHSCORES]可以除了数据还
显示分值zrevrange key start stop [WITHSCORES] 反转
删除数据
zrem key member [member ...]
获取集合数据总量
zcard key