docker-compose部署FastDFS分布式文件系统

文章目录

  • 一、技术选型
  • 二、fastDFS组成部分
  • 三、docker-compose文件
  • 四、客户端nginx配置
  • 五、存储器
  • spring Boot集成
  • 参考文献

一、技术选型

还有一个更好的google FS(但是他不开源,我也没找到社区版一类的可以不要钱使用的)。
最后考虑到我们存储的都是10M以下的图片,而且访问量不是很高,所以使用了国产的fastDFS(当然也包含爱国情怀)。

在这里插入图片描述

二、fastDFS组成部分

Tracker Server: 主要负责调度工作,起到均衡的作用,管理所有的 Storage Server 和 Group。每个 Storage Server 在启动后会连接 Tracker,告知自己所属 Group 等信息,并保持周期性心跳。多个 Tracker 之间是对等关系,不存在单点故障。Tracker Server 在内存中记录分组和 Storage Server 的状态等信息,不记录文件索引信息,占用的内存量很少。Tracker Server 作为中心结点,管理集群拓扑结构,其主要作用是负载均衡和调度。

Storage Server: 主要提供容量和备份服务,以 Group 为单位,每个 Group 内可以有多台 Storage Server。组内的所有 Storage Server 之间是平等关系,会相互连接进行文件同步,从而保证组内的所有 Storage Server 的文件内容一致。Storage Server 直接利用 OS 的文件系统存储文件,不会对文件进行分块存储,客户端上传的文件和 Storage Server 上的文件一一对应(V3 引入的小文件合并存储除外)。每个 Storage Server 的存储依赖于本地文件系统,可配置多个数据存储目录。

Client: 与 Tracker Server 和 Storage Server 交互,负责文件的上传、下载、删除等操作。客户端可以指定上传到的 Group,当某个 Group 的访问压力较大时,可以在该组增加 Storage Server 来扩充服务能力。

三、docker-compose文件

version: '3.3'
services:tracker: # 调度器image: season/fastdfs:1.2container_name: fastdfs-trackernetwork_mode: hostrestart: alwayscommand: "tracker"storage: # 存储器image: season/fastdfs:1.2container_name: fastdfs-storagenetwork_mode: hostrestart: alwaysvolumes:- "/fastDFS/storage/storage.conf:/fdfs_conf/storage.conf" # 存储器配置文件- "/fastDFS/storage/storage_base_path:/fastdfs/storage/data" # 文件存储位置- "/fastDFS/storage/store_path0:/fastdfs/store_path" # 存储配置environment:TRACKER_SERVER: "调度器ip和端口"command: "storage"nginx: # 客户端image: season/fastdfs:1.2container_name: fastdfs-nginxrestart: alwaysnetwork_mode: hostvolumes:- "/fastDFS/nginx.conf:/etc/nginx/conf/nginx.conf"- "/fastDFS/storage/store_path0:/fastdfs/store_path"- "/fastDFS/pic:/hydf/fastDFS/pic"environment:TRACKER_SERVER: "调度器ip和端口"command: "nginx"

四、客户端nginx配置

#user  nobody;
worker_processes  1;#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;#pid        logs/nginx.pid;events {worker_connections  1024;
}http {include       mime.types;default_type  application/octet-stream;#access_log  logs/access.log  main;sendfile        on;#tcp_nopush     on;#keepalive_timeout  0;keepalive_timeout  65;#gzip  on;server {listen       8088;server_name  localhost;#charset koi8-r;#缩略图需要使用插件,需要单独构建nginx镜像,此处忽略#location /group([0-9])/M00/.*\.(gif|jpg|jpeg|png)$ {#   root /fastdfs/storage/data;#   image on;#   image_output off;#   image_jpeg_quality 75;#   image_backend off;#    image_backend_server http://baidu.com/docs/aabbc.png;# }# group1location /group1/M00 {# 文件存储目录root /fastdfs/storage/data; # 注意这里要和dockercompose中的storage data存储配置保持一致ngx_fastdfs_module;}#error_page  404              /404.html;# redirect server error pages to the static page /50x.html#error_page   500 502 503 504  /50x.html;location = /50x.html {root   html;}}
}

五、存储器


# the name of the group this storage server belongs to
group_name=group1 # 节点名称,后续访问节点要和这个保持一致# bind an address of this host
# empty for bind all addresses of this host
bind_addr=10.36.6.251 # 绑定本机ip地址(因为是docker所以这里需要指定ip地址)# if bind an address of this host when connect to other servers
# (this storage server as a client)
# true for binding the address configed by above parameter: "bind_addr"
# false for binding any address of this host
client_bind=true# the storage server port
port=23000# connect timeout in seconds
# default value is 30s
connect_timeout=30# network timeout in seconds
# default value is 30s
network_timeout=60# heart beat interval in seconds
heart_beat_interval=30# disk usage report interval in seconds
stat_report_interval=60# the base path to store data and log files
base_path=/fastdfs/storage# max concurrent connections the server supported
# default value is 256
# more max_connections means more memory will be used
max_connections=256# the buff size to recv / send data
# this parameter must more than 8KB
# default value is 64KB
# since V2.00
buff_size = 256KB# accept thread count
# default value is 1
# since V4.07
accept_threads=1# work thread count, should <= max_connections
# work thread deal network io
# default value is 4
# since V2.00
work_threads=4# if disk read / write separated
##  false for mixed read and write
##  true for separated read and write
# default value is true
# since V2.00
disk_rw_separated = true# disk reader thread count per store base path
# for mixed read / write, this parameter can be 0
# default value is 1
# since V2.00
disk_reader_threads = 1# disk writer thread count per store base path
# for mixed read / write, this parameter can be 0
# default value is 1
# since V2.00
disk_writer_threads = 1# when no entry to sync, try read binlog again after X milliseconds
# must > 0, default value is 200ms
sync_wait_msec=50# after sync a file, usleep milliseconds
# 0 for sync successively (never call usleep)
sync_interval=0# storage sync start time of a day, time format: Hour:Minute
# Hour from 0 to 23, Minute from 0 to 59
sync_start_time=00:00# storage sync end time of a day, time format: Hour:Minute
# Hour from 0 to 23, Minute from 0 to 59
sync_end_time=23:59# write to the mark file after sync N files
# default value is 500
write_mark_file_freq=500# path(disk or mount point) count, default value is 1
store_path_count=1# store_path#, based 0, if store_path0 not exists, it's value is base_path
# the paths must be exist
store_path0=/fastdfs/store_path
#store_path1=/home/yuqing/fastdfs2# subdir_count  * subdir_count directories will be auto created under each
# store_path (disk), value can be 1 to 256, default value is 256
subdir_count_per_path=256# tracker_server can ocur more than once, and tracker_server format is
#  "host:port", host can be hostname or ip address
tracker_server=调度器ip地址和端口#standard log level as syslog, case insensitive, value list:
### emerg for emergency
### alert
### crit for critical
### error
### warn for warning
### notice
### info
### debug
log_level=info#unix group name to run this program,
#not set (empty) means run by the group of current user
run_by_group=#unix username to run this program,
#not set (empty) means run by current user
run_by_user=# allow_hosts can ocur more than once, host can be hostname or ip address,
# "*" means match all ip addresses, can use range like this: 10.0.1.[1-15,20] or
# host[01-08,20-25].domain.com, for example:
# allow_hosts=10.0.1.[1-15,20]
# allow_hosts=host[01-08,20-25].domain.com
allow_hosts=*# the mode of the files distributed to the data path
# 0: round robin(default)
# 1: random, distributted by hash code
file_distribute_path_mode=0# valid when file_distribute_to_path is set to 0 (round robin),
# when the written file count reaches this number, then rotate to next path
# default value is 100
file_distribute_rotate_count=100# call fsync to disk when write big file
# 0: never call fsync
# other: call fsync when written bytes >= this bytes
# default value is 0 (never call fsync)
fsync_after_written_bytes=0# sync log buff to disk every interval seconds
# must > 0, default value is 10 seconds
sync_log_buff_interval=10# sync binlog buff / cache to disk every interval seconds
# default value is 60 seconds
sync_binlog_buff_interval=10# sync storage stat info to disk every interval seconds
# default value is 300 seconds
sync_stat_file_interval=300# thread stack size, should >= 512KB
# default value is 512KB
thread_stack_size=512KB# the priority as a source server for uploading file.
# the lower this value, the higher its uploading priority.
# default value is 10
upload_priority=10# the NIC alias prefix, such as eth in Linux, you can see it by ifconfig -a
# multi aliases split by comma. empty value means auto set by OS type
# default values is empty
if_alias_prefix=# if check file duplicate, when set to true, use FastDHT to store file indexes
# 1 or yes: need check
# 0 or no: do not check
# default value is 0
check_file_duplicate=0# file signature method for check file duplicate
## hash: four 32 bits hash code
## md5: MD5 signature
# default value is hash
# since V4.01
file_signature_method=hash# namespace for storing file indexes (key-value pairs)
# this item must be set when check_file_duplicate is true / on
key_namespace=FastDFS# set keep_alive to 1 to enable persistent connection with FastDHT servers
# default value is 0 (short connection)
keep_alive=0# you can use "#include filename" (not include double quotes) directive to
# load FastDHT server list, when the filename is a relative path such as
# pure filename, the base path is the base path of current/this config file.
# must set FastDHT server list when check_file_duplicate is true / on
# please see INSTALL of FastDHT for detail
##include /home/yuqing/fastdht/conf/fdht_servers.conf# if log to access log
# default value is false
# since V4.00
use_access_log = false# if rotate the access log every day
# default value is false
# since V4.00
rotate_access_log = false# rotate access log time base, time format: Hour:Minute
# Hour from 0 to 23, Minute from 0 to 59
# default value is 00:00
# since V4.00
access_log_rotate_time=00:00# if rotate the error log every day
# default value is false
# since V4.02
rotate_error_log = false# rotate error log time base, time format: Hour:Minute
# Hour from 0 to 23, Minute from 0 to 59
# default value is 00:00
# since V4.02
error_log_rotate_time=00:00# rotate access log when the log file exceeds this size
# 0 means never rotates log file by log file size
# default value is 0
# since V4.02
rotate_access_log_size = 0# rotate error log when the log file exceeds this size
# 0 means never rotates log file by log file size
# default value is 0
# since V4.02
rotate_error_log_size = 0# if skip the invalid record when sync file
# default value is false
# since V4.02
file_sync_skip_invalid_record=false# if use connection pool
# default value is false
# since V4.05
use_connection_pool = false# connections whose the idle time exceeds this time will be closed
# unit: second
# default value is 3600
# since V4.05
connection_pool_max_idle_time = 3600# use the ip address of this storage server if domain_name is empty,
# else this domain name will ocur in the url redirected by the tracker server
http.domain_name=# the port of the web server on this storage server
http.server_port=8888

spring Boot集成

pom文件引入工具包

   <!--fastDFS--><dependency><groupId>com.github.tobato</groupId><artifactId>fastdfs-client</artifactId><version>1.26.5</version></dependency>

java文件上传,这里因为名称长度有要求,所以我直接不要文件名字了,随机了一个然后加上原文件后缀

 File file = new File(s);String fileName = file.getName();StorePath path = storageClient.uploadFile("group1", new FileInputStream(file), file.length(), fileName.substring(fileName.lastIndexOf(".") + 1));System.out.println(path.getFullPath());

上传完成后的访问路径,由client所在的nginx客户端地址和返回回来的存储路径拼合就可以直接访问
http://{{nginx client客户端ip地址}}/group1/M00/00/00/CiQG-2ZeyV-AWmHcAA3vSx2O3n4972.png

参考文献

https://github.com/happyfish100/fastdfs
https://cloud.tencent.com/developer/article/2072195
https://blog.51cto.com/u_12740336/6943977
https://blog.csdn.net/weixin_44002151/article/details/131617686
https://blog.csdn.net/ZHUZIH6/article/details/129973644
https://download.csdn.net/blog/column/12340564/136098096

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/350762.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

非对称加密系统解析

目录 1. 概述 2. 非对称加密标准 2.1 RSA 2.2 SM2 2.2.1 SM2私钥 2.2.2 SM2公钥 2.2.3 加密数据格式 2.2.4 签名数据格式 1. 概述 非对称加密中&#xff0c;密钥分为加密密钥和解密密钥两种。发送者用加密密钥对消息进行加密&#xff0c;接收者用解密密钥对密文进行解密…

【redis的基本数据类型】

基本数据类型 Redis的基本数据类型有五种&#xff0c;分别是 StringListHashSetSortedSet 这些基本的数据类型构成了其他数据类型的基石&#xff0c;而这些基本数据类型又对应着不同的底层实现&#xff0c;不同的底层实现往往是针对不同的使用场景做的特殊的优化&#xff0c;…

# RocketMQ 实战:模拟电商网站场景综合案例(六)

RocketMQ 实战&#xff1a;模拟电商网站场景综合案例&#xff08;六&#xff09; 一、RocketMQ 实战 &#xff1a;项目公共类介绍 1、ID 生成器 &#xff1a;IDWorker&#xff1a;Twitter 雪花算法。 在 shop-common 工程模块中&#xff0c;IDWorker.java 是 ID 生成器公共类…

第 18章 安全架构设计理论与实践

安全架构是架构面向安全性方向上的一种细分&#xff0c;可关注三个安全方面&#xff0c;即产品安全架构、安全技术体系架构和审计架构&#xff0c;这三个方面可组成三道安全防线。本章主要分析安全威胁、介绍安全模型&#xff0c;在此基础上&#xff0c;就系统、信息、网络和数…

mysql和redis的双写一致性问题

一&#xff0c;使用方案 在使用redis作为缓存的场景下&#xff0c;我们一般使用流程如下 二&#xff0c;更新数据场景 我们此时修改个某条数据&#xff0c;如何保证mysql数据库和redis缓存中的数据一致呢&#xff1f; 按照常规思路有四种办法&#xff0c;1.先更新mysql数据&a…

tcp协议机制的总结(可靠性,提高性能),基于tcp的应用层协议,用udp如何实现可靠传输

目录 总结 引入 可靠性 ​编辑 分析 三次握手 提高性能 其他 常见的基于tcp应用层协议 用udp实现可靠传输 总结 引入 为什么tcp要比udp复杂的多? 因为它既要保证可靠性,又要兼顾性能 可靠性 分析 其中,序列号不止用来排序,还可以用在重传时去重 确认应答是机制中的…

嵌入式软件工程师入何突破瓶颈?

各位关注嵌入式软件工程师发展的朋友们&#xff0c;下面来探讨一下嵌入式软件工程师该如何突破瓶颈。首先要强调的是&#xff0c;不要仅仅将自己局限在嵌入式软件工程师这一角色定位上。 事实上&#xff0c;嵌入式软件工程师已经掌握了诸多业务层面的内容&#xff0c;完全有能力…

硬件SPI读写W25Q64

硬件SPI读写W25Q64 接线图&#xff08;和软件SPI一样&#xff09; 使用SPI1&#xff0c;SCK&#xff0c;接PA5&#xff1b;MISO&#xff0c;接PA6&#xff1b;MOSI&#xff0c;接PA7&#xff1b;NSS&#xff0c;可接PA4。 接线图对应&#xff1a;PA5接CLK引脚&#xff0c;PA6…

34 Debian如何配置ELK群集

作者:网络傅老师 特别提示:未经作者允许,不得转载任何内容。违者必究! Debian如何配置ELK群集 《傅老师Debian知识库系列之34》——原创 ==前言== 傅老师Debian知识库特点: 1、拆解Debian实用技能; 2、所有操作在VMware虚拟机实测完成; 3、致力于最终形成Debian知识手…

ChatGPT魔法背后的原理:如何做到词语接龙式输出?

介绍 我们都知道 ChatGPT 是 AIGC 工具&#xff0c;其实就是生成式人工智能。大家有没有想过这些问题 &#x1f914;️&#xff1a; 1、我们输入一段话&#xff0c;就可以看见它*噼里啪啦的一顿输出*&#xff0c;那么它的原理到底是什么&#xff1f; 2、到底它是怎么锁定这些…

GitLab教程(二):快速上手Git

文章目录 1.将远端代码克隆到本地2.修改本地代码并提交到远程仓库3.Git命令总结git clonegit statusgit addgit commitgit pushgit log 首先&#xff0c;我在Gitlab上创建了一个远程仓库&#xff0c;用于演示使用Gitlab进行版本管理的完整流程&#xff1a; 1.将远端代码克隆到本…

宝藏速成秘籍(7)堆排序法

一、前言 1.1、概念 堆排序&#xff08;Heapsort&#xff09;是指利用堆这种数据结构所设计的一种排序算法 。堆是一个近似 完全二叉树 的结构&#xff0c;并同时满足堆积的性质&#xff1a;即子结点的键值或索引总是小于&#xff08;或者大于&#xff09;它的父节点。 1.2、排…

重生之 SpringBoot3 入门保姆级学习(19、场景整合 CentOS7 Docker 的安装)

重生之 SpringBoot3 入门保姆级学习&#xff08;19、场景整合 CentOS7 Docker 的安装&#xff09; 6、场景整合6.1 Docker 6、场景整合 6.1 Docker 官网 https://docs.docker.com/查看自己的 CentOS配置 cat /etc/os-releaseStep 1: 安装必要的一些系统工具 sudo yum insta…

React state(及组件) 的保留与重置

当在树中相同的位置渲染相同的组件时&#xff0c;React 会一直保留着组件的 state return (<div><Counter />{showB && <Counter />} </div> ) // 当 showB 为 false, 第二个计数器停止渲染&#xff0c;它的 state 完全消失了。这是因为 React…

Github 2024-06-14 开源项目日报Top10

根据Github Trendings的统计,今日(2024-06-14统计)共有10个项目上榜。根据开发语言中项目的数量,汇总情况如下: 开发语言项目数量JavaScript项目2Python项目2非开发语言项目2TypeScript项目1Dart项目1Rust项目1Lua项目1Java项目1Jupyter Notebook项目1从零开始构建你喜爱的技…

解决 kali 中使用 vulhub 拉取不到镜像问题

由于默认情况下&#xff0c;访问的镜像是国外的&#xff0c;而从 2023 年开始&#xff0c;docker 的镜像网站就一直访问不了&#xff0c;所以我们可以把镜像地址改成国内的阿里云镜像地址。 1、在 cd /etc/docker/目录下创建或修改daemon.json文件 sudo touch daemon.json 2、在…

MySQL之高级特性(一)

高级特性 外键约束 InnoDB是目前MySQL中唯一支持外键的内置存储引擎&#xff0c;所以如果需要外键支持那选择就不多了。使用外键是有成本的。比如外键通常都要求每次在修改数据时都要在另一张表中多执行一次查找操作。虽然InnoDB强制外键使用索引&#xff0c;但还是无法消除这…

【启明智显彩屏应用】Model3A 7寸触摸彩屏的充电桩应用方案

一、充电桩概述 &#xff08;一&#xff09;充电桩诞生背景 随着社会的进步和人们生活质量的提升&#xff0c;汽车已逐渐融入每个家庭的日常生活中。然而&#xff0c;汽车数量的激增也带来了严重的环境污染问题&#xff0c;特别是尾气排放。为了应对这一挑战&#xff0c;新能源…

HTML静态网页成品作业(HTML+CSS)—— 零食商城网页(1个页面)

&#x1f389;不定期分享源码&#xff0c;关注不丢失哦 文章目录 一、作品介绍二、作品演示三、代码目录四、网站代码HTML部分代码 五、源码获取 一、作品介绍 &#x1f3f7;️本套采用HTMLCSS&#xff0c;未使用Javacsript代码&#xff0c;共有1个页面。 二、作品演示 三、代…