从需求角度介绍PasteSpider(K8S平替部署工具适合于任何开发语言)

        你是否被K8S的强大而吸引,我相信一部分人是被那复杂的配置和各种专业知识而劝退,应该还有一部分人是因为K8S太吃资源而放手!

        这里介绍一款平替工具PasteSpider,PasteSpider是一款使用c#编写的linux容器部署工具(使用PasteSpider和自己用啥语言开发没关系哈!),简单易上手(从0到一键发布30分钟学习足够了!)非常节省资源,支持Sqlite/Postgresql数据库,支持集群部署,以维护100个docker的container为例,PasteSpider本身消耗的内存大概在300MB(下图是273.4MB)左右!接下来我们将从需求角度介绍PasteSpider是怎么来的!

        我用java开发的,可以使用PasteSpider么?

        我用node开发的,能用PasteSpider部署我的项目么?

        我不开发,只是使用别人的镜像的,能用PasteSpider部署我的项目么?

        ... .. .

        使用PasteSpider部署你的项目,和你的项目本身的开发语言无关,只要满足以下条件即可

        1.你的项目是否需要发布到linux服务器上(因为目前PasteSpider还无法在windows服务器上运行)?

        2.你的项目是纯静态的么?比如html5,这种只要nginx路由一下就能访问的?这个也是可以的!

        3.你的项目通过Dockerfile后,可以打包到容器docker/podman里面运行么?

        只要是你的项目需要发布到linux上,是静态资源或者可以载入到docker/podman里面运行的就可以使用PasteSpider!

        以上是一台使用PasteSpider(myspider)管理的linux服务器上的容器运行情况图,NAME为xxxx_xx_xxx_xxxxxxxxxxx的容器为PasteSpider部署的!

部署现状

        从我的观察来看,目前市面上部署服务的,大概可以分3类,

1.使用强大工具部署的,比如使用K8S,K3S等,这类有一个通性那就是这些工具消耗的资源足够大,然后是上手有难度!

2.使用原始的方式部署,就是手打命令,或者从部署的文本或者history历史复制命令部署,主打一个冷静,安静,认真的工作小透明,一不小心就部署错了!

3.基于自己对部署步骤的理解,编写sh命令部署,其实和2是一样的,半手动而已!极大减少部署错误,但是不够自动,也对版本回滚等抓头抓脑!

        综上,大家迫切需要一款节省资源,又简单易上手的部署工具!PasteSpider绝对适合你!

运行原理

        PasteSpider的运行原理很简单,简单一句话就是程序化执行命令,用到的其他工具也就是我们常用的Nginx(作为路由,转发,代理用),docker/podman(作为容器管理用),PasteSpider没有K8S的各种POD等概念,遇到问题也不需要找特殊的资料,只要记住PasteSpider只是把部署的命令形成一条一条的命令,按序执行而已,所以遇到问题,你大可查看日志,然后找各自的资料!

图形操作

        PasteSpider使用图形界面,简单易上手,只要操作界面上的一些表单,即可完成项目,服务等的配置和部署工作!

        上图为PasteSpider管理端的主界面,可以看到大致板块和功能!

        上面是创建一个项目的服务的界面,可以看出都是图形输入的,简单易上手。

运行安全

        作为一个工具,辅助工具!必须不能寻宾夺主,提现在2个方面,

        1.占用的资源不能过多,目前很多流行的工具都是油老虎,动不动大几个GB的内存需求,服务器不要钱的啊???

        2.不能干扰主服务的运行,工具就要有工具的觉悟,不能因为工具嘎了就把客户的主服务也宕了,这不是瞎扯淡嘛!

        那么问题来了,服务器空闲的资源拿来干嘛用?空着不好么?空着应对流量高峰不好么?空着部署其他服务不好么?空着省点钱不行么?

        近几年也有很多新闻,由于工具的原因导致主服务宕机的,PasteSpider的运行作用只在于帮助部署和服务运行状态的数据获取(用于显示报表),如果PasteSpider挂了,其他运行的服务是不受影响的,主打的一个就是简单,干净,不牵扯!

        很多人部署后,跑起来就不管了,你咋知道你的代码有没有内存泄漏,死循环等?指望docker等的重启机制?这种问题往往在关键时候掉链子,所以及时发现问题及早处理才是正事!

概念清晰

        PasteSpider的部署设计主要是基于项目的维度,偏向于微服务(其实我更偏向于说是分布式),比如有一个商城系统,我们把她拆分成api,web,manage,h5,node,grpc等服务,这几个服务可以通过nginx的location配置串联起来,比如访问/api/的路径,就转发到api所在的服务,访问/node/就转发到Node的websocket实时通讯,以此类推!

项目

        一个项目可以包含多个服务,服务有多种类型(纯静态的,不需要构建镜像的,直接放宿主服务器的,比如web,或者是打包后的vue等),需要构建镜像,然后载入到容器中运行的(比如.net/java/php/go等编写的api),其他的组件非自己编写的代码,比如redis等。可以这么理解,一个或者多个服务有关联的,可以用一个项目来描述他们!

服务

        服务之间是隔离的,比如你可以把node交给张三开发,api交给李四开发,然后在PasteSpider的后台为张三或李四指定对应的权限,那么他们就只能发布自己的服务。可以简单理解为子项目为一个服务,比如开发接口的,开发前端的,开发管理端的。在nginx的配置中往往是一个location作为一个服务!

环境

        做开发的都知道,开发一般会有至少2个环境,测试环境和正式环境,PasteSpider为了解决不同环境的测试问题,也引入了环境的概念,环境是另外一个维度的划分,比如nginx的配置,会按照项目和环境进行分割,也可以通过key-value的配置,针对不同环境配置不一样的启动环境变量,比如SqlConnectionString等

路由Nginx

        部署的升级必须得平滑!为了解决发布的时候遇到的服务断开的问题,PasteSpider引入Nginx作为代理模块,从环境和项目维度出发,支持服务的平滑升级,发布的时候自动更新对应的nginx内容,内置模板案例,简单配置即可使用。(Nginx安装于宿主服务器)

仓库Registry

        PasteSpider支持使用docker的registry作为私有仓库使用,如果有多个服务器需要关联使用,则强烈建议启用仓库模式,这个仓库就是一个存放镜像的地方,这样只要一个地方打包,其他服务可以拉取这个镜像进行运行等。PasteSpider采用一键创建仓库。目前在centos7和ubuntu上都测试使用过。

预警

        服务器的运行状态,虽然说我们没必要实时知道,但是如果有情况,还是希望能够知晓的,比如某一个服务的CPU一直100%,比如服务器的硬盘占用过多了(由于硬盘爆满导致宕机的事件应该不少吧!),PasteSpidre里面使用2个维度进行了数据的监听,服务监控和服务器监控,可以让你在第一时间知晓危险,及时做出处理,避免不必要的宕机事件!

定时任务

        由于服务器的特性,很多时候我们往往不能随时升级,一般会选择在闲时进行升级,这个时候就需要定时任务了,定时任务支持任务串,也就是多个服务升级,按照一定顺序执行,比如我进行升级的顺序就是api-->grpc-->rabbit-->web,一般在凌晨进行,这个时候定时任务就帮上大忙了!

源码构建发布

        devops还是很火的,通过配置PasteSpider也支持这git/svn的源码发布,大致流程是通过git/svn的提交触发webhook通知PasteSpider进行对某一个服务执行拉取源码,编译,发布,构建,升级等一序列操作!

简单部署

        以上只是PasteSpider的常用功能,PasteSpider的部署也是很简单的,只需要把PasteSpider的文件下载后,根据命令构建PasteSpider的镜像,然后一行代码就可以启动自己的PasteSpider,几分钟就可以开启你的PasteSpider之行!

部署案例

        比如我们在编写api服务的代码,需要发布到服务器上,只要使用配套的PasteSpiderFile文件快稳准的完成部署工作!

        以.net的服务为例,在VS上发布到文件夹后(项目生成成功,不一定能够发布成功),按照上图的操作,选择对应的项目,然后按照顺序执行文件同步(采用差量升级,所以每次升级的文件数量很少的),最后点击构建升级,然后等待webhook的通知即可完成项目的发布工作!

  其他问题

nginx的路由,如何和container挂钩?

        针对这个问题,建议使用内部ip,能局域网的就不建议使用域名访问,项目中的服务支持是否开启监听端口模式(这种一般用于多服务器模式),配置路由的话,部署项目服务的时候会根据container的内部ip进行代理转发。

docker重启后,container的IP会变更,如何保证nginx的代理不出问题?

        针对这个问题,PasteSpider引入了网关,也就是一个项目一个网段,自定义网关的话,docker重启后,container的内部ip是不会变更的。

集群发布的时候,如何保证多个container不会占用同一个文件

        同一个服务,我们在部署的时候,设定的虚拟目录一般是一样的,其实可以通过key-value里面把环境变量打开,然后就可以在部署的时候往集群中的container写入不一样的变量,比如container1设定的目录可以为/spider/path1/,container2设定的目录可以为/spider/path2/,比如container的日志文件,我们就希望他们写入不同的文件中!

部署的时候,子任务执行失败,要如何处理?

        一个部署任务,其实是由多个子任务组合而成的,子任务有执行顺序,有错误等级,通过任务的详细,可以查看子任务的执行情况,点击子任务可以查看执行的语句和结果,通过这些信息进行排查!PasteSpider系统并没有自己的command,所有的command都是有他的来源的,比如构建镜像,就是docker build或者podman build等,搜索对应的知识库即可!

至于附件的下载等,群共享文件里面有最新版本的,欢迎使用更多问题可以加入QQ群(296245685)进行讨论!

PasteSpider的下载和安装

使用PasteSpider部署你的项目,适合作为开发的你

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/330692.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于Docker部署GitLab环境搭建

文件在D:\E\学习文档子目录压缩\专项进阶,如ngnix,webservice,linux,redis等\docker 建议虚拟机内存2G以上 1.下载镜像文件 docker pull beginor/gitlab-ce:11.0.1-ce.0 注意:一定要配置阿里云的加速镜像 创建GitLab 的配置 (etc) 、 日志 (log) 、数…

Eclipse下载安装教程(包含JDK安装)【保姆级教学】【2024.4已更新】

目录 文章最后附下载链接 第一步:下载Eclipse,并安装 第二步:下载JDK,并安装 第三步:Java运行环境配置 安装Eclipse必须同时安装JDK !!! 文章最后附下载链接 第一步&#xf…

上位机图像处理和嵌入式模块部署(mcu常见三种烧录方法)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing 163.com】 和单纯的windows上位机开发、嵌入式linux开发不一样,mcu的开发,是需要通过烧录器把编译好的镜像烧入到开发板里面的。这是很…

Unreal Engine5 Landscape地形材质无法显示加载

UE5系列文章目录 文章目录 UE5系列文章目录前言一、解决办法 前言 在使用ue5做地形编辑的时候,明明刚才就保存的Landscape地形完全消失不见,或者是地形的材质不见了。重新打开UE5发现有时候能解决,但大多数时候还是没有解决,我下…

QT5.15.2及以上版本安装

更新时间:2024-05-20 安装qt5.15以上版本 系统:ubuntu20.04.06 本文安装:linux-5.15.2 下载安装 # 安装编译套件g sudo apt-get install build-essential #安装OpenGL sudo apt-get install libgl1-mesa-dev# 下载qt安装器 https://downl…

Java之SpringSecurity使用心得

文章目录 一、内存身份认证二、jdbc身份认证三、自定义登录页 一、内存身份认证 添加pom依赖 <!-- Spring Security提供的安全管理依赖启动器 --> <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-s…

必示科技参与智能运维国家标准预研线下编写会议并做主题分享

近日&#xff0c;《信息技术服务 智能运维 第3部分&#xff1a;算法治理》&#xff08;拟定名&#xff09;国家标准预研阶段第一次编写工作会议在杭州举行。本次会议由浙商证券承办。 此次编写有来自银行、证券、保险、通信、高校研究机构、互联网以及技术方等29家单位&#xf…

YoloV8改进策略:蒸馏改进|CWDLoss|使用蒸馏模型实现YoloV8无损涨点|特征蒸馏

摘要 在本文中&#xff0c;我们成功应用蒸馏策略以实现YoloV8小模型的无损性能提升。我们采用了CWDLoss作为蒸馏方法的核心&#xff0c;通过对比在线和离线两种蒸馏方式&#xff0c;我们发现离线蒸馏在效果上更为出色。因此&#xff0c;为了方便广大读者和研究者应用&#xff…

1076: 判断给定有向图是否存在回路

解法&#xff1a; 直观的方法用邻接矩阵dfs,这是错误的代码 #include<iostream> #include<vector> using namespace std; int arr[100][100]; int f 0; void dfs(vector<int>& a, int u) {a[u] 1;for (int i 0; i < a.size(); i) {if (arr[u][i]…

Github 2024-05-25 Rust开源项目日报Top10

根据Github Trendings的统计,今日(2024-05-25统计)共有10个项目上榜。根据开发语言中项目的数量,汇总情况如下: 开发语言项目数量Rust项目10Svelte项目1TypeScript项目1Python项目1Go项目1Dart项目1RustDesk: 用Rust编写的开源远程桌面软件 创建周期:1218 天开发语言:Rust…

Linux--动静态库制作使用及使用

目录 0.文件系统 1.软硬链接 2.静态库 2.1先见一见 2.2 制作静态库&#xff0c;并使用制作的静态库 3.动态库 3.1制作动态库&#xff0c;并使用制作的动态库 4.推荐一个第三方库&#xff08;ncurses&#xff09; 5.动态库的加载 6.动态库VS静态库 0.文件系统 Linux…

北理工提出 LTrack 双摄像头系统 | 专注于暗场景多目标跟踪,自动驾驶和夜间监控的福音!

低光照场景在现实世界应用中很普遍&#xff08;例如自动驾驶和夜间监控&#xff09;。最近&#xff0c;在各种实际用例中的多目标跟踪受到了很多关注&#xff0c;但在暗场景中的多目标跟踪却鲜少被考虑。 在本文中&#xff0c;作者专注于暗场景中的多目标跟踪。为了解决数据集…

9.5 Go语言入门(条件语句和循环语句)

Go语言入门&#xff08;条件语句和循环语句&#xff09; 目录四、条件语句和循环语句1. 条件语句1.1 if 语句1.2 if-else 语句1.3 if-else if-else 语句1.4 带初始化语句的 if1.5 switch 语句1.6 带条件的 switch1.7 多个条件的 case 2. 循环语句2.1 基本 for 循环2.2 省略初始…

转行3年涨薪300%,我总结了一套产品经理快速入门指南!

想转行的产品小白&#xff0c;初期一定会遇到这个问题——我要如何 0 基础转行产品经理&#xff1f; 要想 0 基础快速转行产品经理&#xff0c;我通过个人实践总结了 5 个关键点&#xff0c;可以参考。 一、熟悉产品经理的工作全流程 转行的产品小白&#xff0c;首先要建立产…

Amesim应用篇-制冷剂压焓图软件Coolpack简介与冷媒流量评估

前言 空调系统仿真不可避免的会涉及到冷媒的物性参数、压焓图等信息。冷媒的物性可以在Amesim中自带的模型中查看。而压焓图可以通过Coolpack软件绘制。 一 软件介绍 Coolpack是个独立的小程序&#xff0c;集成了各种冷媒的性能参数&#xff0c;可以直观查看冷媒工作工况曲线…

c语言:摆脱对指针的恐惧【4】

在上一期指针我们讲到了二级指针是的作用是存放一级指针的地址&#xff0c;还讲了指针数组是一个可以存放若干个指针变量的数组&#xff0c;这里我们再复习一下&#xff0c;下面指针数组是什么意思&#xff1f; int* arr1[10]; //整形指针的数组 char *arr2[4]; //一级字符指针…

Python中动态调用C#的dll动态链接库中方法

在Python中调用C#的dll库_哔哩哔哩_bilibili 环境准备&#xff1a; 安装 pythonnet pip install pythonnet在Python中调用C#动态链接库&#xff08;DLL&#xff09;&#xff0c;可以使用pythonnet库&#xff0c;它允许直接使用 .NET 的程序集。以下是一个示例&#xff0c;…

C++ 写的_string类,兼容std::string, MFC CString和 C# 的string

代码例子&#xff1a; using namespace lf; int main() { CString s1 _t("http://www.csdn.net"); _string s2 s1; CString s3 s2; _pcn(s1); _pcn(s2); _pcn(s3); return 0; } 输出&#xff1a; _Str.h /***************************************…

在使用LabVIEW控制多个串口设备进行数据读取时,读取时间过长

在使用LabVIEW控制多个串口设备进行数据读取时&#xff0c;如果发现数据更新时间超过5秒&#xff0c;可以从以下几个方面进行分析和解决&#xff1a; 1. 串口配置与通信参数 确保每个串口的通信参数&#xff08;波特率、数据位、停止位、校验位等&#xff09;配置正确&#x…

【数据结构】二叉树的功能实现

文章目录 关于二叉树的创建如何创建二叉树实现二叉树的前、中、后序遍历层序遍历 关于二叉树的创建 在笔者的上一篇文章中堆进行了一个详细介绍&#xff0c;而二叉树是以堆为基础进行创建&#xff0c;它与堆的显著不同是 堆像是一个线性结构&#xff0c;堆的结构往往是一个数…