合肥先进光源束测后台的初步设计,这里的网络相关的部分摘出来换个名字重新整理一下:
合肥光源中,没有把数据量大的设备比如摄像头、示波器规划进单独的网络,所有的设备都直接接入控制网,运行实践的过程中,有过高帧率的一个摄像头就拖慢整个网络响应的情况。除了这些产生海量数据的设备,服务器集群内部的数据,比如分布式磁盘阵列内部的传输数据,比如ceph、iSCSI、NFS等网络挂载的磁盘数据,这些海量数据都没有必要在控制网内传输。
先进光源中这类的设备更加多,通讯的图像和波形数据量更大,这些原始的海量数据在控制网中传输会占用很多的交换机之间的主干网带宽,而这些数据是没必要在控制网传输的,可接入单独的一个二层网,IOC和这些设备通讯,处理后的图像数据和波形数据再送入控制网,这样可极大的节省控制网的带宽。
现在很多交换机都有40G甚至100G的接口,并且连起来就能组成一个二层网络。
比如华为48个千兆口带40G堆叠口的交换机S5720-52X-EI-AC,和华为S6735 有24个万兆光口的交换机,做了交换机间的高带宽接口连通性测试:
- 多模光纤,100米的线可联通,300米的线灯不亮,换光模块也不行,最后供应商询问技术,说多模的极限差不多280米,故不通;
- 单模光纤,100米、300米都能联通。
这样的交换机之间的骨干网速40G、100G连接可以扩展到至少300米,对于布网来说就极其的方便了。
对于上面的合肥先进光源的布局图,红圈示意束测的设备间,环上11个房间,直线和输运线3个房间,象图中的橙色连线拉上单模光纤,最长的距离不会超过100米,组成的这样的一个环,STP协议可以软断掉冗余的一根线使得不会构成回环,并且任一节点的故障和掉电都不影响其他节点的网络连接,非常有利于系统的稳定可靠的运行。
有两个光纤节点的地方放一台交换机,两个四节点的房间放两台交换机,服务器可集中放在这两个房间中,更多的设备需要扩展交换机的话,在这些环形主干交换机下接入万兆接口就好了。
环形主干网之间的速度可达40G,以后服务器、NAS、iSCSI设备如果需要更多空间的话,不需要集中在一处,根据每个房间空闲情况,可放在任何合适的位置,为设备的增加扩展会带来极大方便。
最后估一下预算,因为交换机主干间可达到40G,不需要那种很贵的核心交换机。
两款交换机大致金额如下:
- 华为48口千兆交换机S5720-52X-EI-AC,一万元以内;
- 华为S6735 24个万兆接口,2万元以内
上述提到的两款交换机,可通过S6735组成环形主干网,根据集中的设备情况,万兆下行接入千兆交换机。
或者两款交换机搭配使用,这样主干网虽然带宽只能达到10G,但可兼顾光口和电口的设备接入。
交换机间的光纤选择单模光纤,配上100G、40G、10G的光模块都可以使用,方便灵活。
目前调研的能达40G、100G上行的交换机有华为的S6735在2万元以内,网络设备技术发展迅速,过一两年新光源场地准备好可以采购设备时,相信会有更多的型号可供选择,并且性价比更高。
这样的为海量数据设备和服务器集群单独规划进高速数据采集网,和通常的都接入控制网相比,并没有增加交换机设备,因为这些设备本来就是要接入网络的,只是在物理拓扑结构上单独连起来并通过跨这个网和控制网的服务器向控制网提供数据。
这样的并没有增加预算和交换机数量,并很有效的解决了海量数据源设备造成控制网的拥塞问题。