企业云技术中台建设方案

【导读】本方案是“2020容器云职业技能大赛”团队比赛季军作品。以OpenShift Container Platform（简称OCP）为底座，OCP以Docker技术和kubernetes框架为基础，在此之上扩展提供了软件定义网络、软件定义存储、基于角色的权限访问管理、企业级镜像仓库、统一入口路由、持续集成流程（s2i/jenkins）、统一管理控制台、监控日志等功能，形成了覆盖整个软件生命周期的解决方案。

【作者】“2020容器云职业技能大赛”团队比赛季军——信云团队：单奇聪曲栋王大洋李沈阳张健（详见文末介绍）

1 平台整体概要

企业云计算架构演进历程

推进企业向共享架构转型的逻辑架构

2 平台整体概要

2.1 集群部署方案

本次设计交付的容器云平台包括两个环境：开发测试环境、生产环境，两个OCP环境中的Master、Router、EFK、Metrics以高可用方式部署：

开发环境节点分master（管理节点），infra（基础设施节点），node（计算节点），配套设施节点。

（1）mater节点部署在内网环境，master计算资源需根据业务需求进行评估，master节点上至少应满足每管理1000个pod资源配置需要增加1VCPU 和1.5G 内存.

（2）infra节点在内网环境和DMZ区分别部署节点，对于暴露外网的服务，走dmz节点通信

（3）镜像仓库节点，统一采用高可用方案部署harbor镜像仓库，可同时作为外部ing下仓库和集群内部镜像仓库使用

（4）日志节点，因日志节点存储io较大，单独部署3节点用于日志，并且存储采用本地存储，提高io性能

（5）Yum服务器：为便于OCP集群离线部署，在内网环境中设置Yum服务器，以http协议提供服务；

（6）在OCP中部署Jenkins服务，来支持CI/CD pipeline落地；

（7）计算资源配置规范

2.2 集群网络设计方案

2.2.1 负载均衡设计

通过F5设备实现负载均衡，使用该方式的有开发测试环境Router、DMZ区开发测试环境Router、生产环境Router、DMZ区生产环境Router。

F5负载均衡策略采用轮询（Round Robin）策略或最小连接数策略，需提供http协议和https协议透传，开放80/443端口转发。

2.2.2 操作系统网络配置

每个计算节点配置两个万兆网卡，分别用于业务流量和nas存储流量。完成操作系统网卡IP、网关、DNS的配置，进行测试与网关连通性，再进行节点互通测试。

2.2.3 SDN网络规划

OCP集群节点规模规划：

2.3 存储设计方案

2.3.1 存储方式：

（1）容器云平台自身存储主要考虑数据读写的性能和数据安全，比如etcd，日志中心。综合考虑，采用本地存储提供最可靠的性能，同时etcd，日志中心等以分布式架构设计，采用>=3副本，异步同步策略

（2）应用数据持久化存储采用ceph分部署存储架构，生产环境挂载ceph存储，默认采用3副本，根据业务需求分别提供块存储、对象存储、文件存储接口，RWX类型优先选择挂载NFS文件存储，RWO类型优先选择采用块存储，接口类型包括iscsi，rbd，对于存储大规模非结构化数据，优先选择对象存储接口

（3）镜像存储，镜像模块采用高可用部署方案，存储采用NFS文件存储共享方式。

2.3.2 存储介质

存储介质分容量型和性能型两种需求。

容量型存储特点大容量，高性价比。介质采用混合盘。性能规格：10ms时延，IOPS最大15k（4K随机读写）。适合对时延要求不高的计算型业务。

性能型存储特点低时延，高吞吐。介质采用SSD，性能规格：毫秒级时延，IOPS大于30K(4k随机读写)，适合对时延响应要求高的业务。

2.3.3 存储容量

开发测试环境：

生产环境：

2.3.4 存储容量

数据备份内容包括容器配置文件，持久化数据，镜像文件备份，备份设备统一采用NBU专业备份设备。

备份计划如下

2.4 监控与日志运维设计

2.4.1 监控组件

监控分别基础设施级监控、容器云集群级监控、应用级监控。

（1）基础设施监控采用H3C企业级监控组件ucenter，监控内容包括底层存储硬件运行状态，存储网络时延，服务器硬件运行状态，操作系统cpu，内存使用情况，网络，IAAS集群运行状况的监控。

（2）容器云集群监控采用prometheus+grafana监控组合，prometheus负责监控容器云集群状态，容器的内存，CPU，网络IO，磁盘IO等监控，通过cAdvisor可以直接获取容器基础监控数据，通过ocp集群自带的监控组件（如下图）kube-state-metrics可以直接获取K8S的资源对象和对应监控数据，因此我们在每个K8S集群上默认部署prometheus实现这部分监控采集，然后通过grafana调用prometheus API来获取数据，用于可视化展示，同时通过Alertmanager组件设置告警信息的发送。

（3）应用级监控采用skyworking开源工具，包括对应用系统的指标监控，分布式追踪，分布式系统性能诊断。

2.4.2 日志组件

采用EFK日志组合，Elasticsearch+Fluentd+Kibana的简称。ES负责数据的存储和索引，Fluentd负责数据的调整、过滤、传输，Kibana负责数据的展示。

Fluentd以DaemonSet方式部署，将收集宿主机中的docker和OCP日志，并发送到ES。OCP集群内的每个结点都会启动一个Fluentd容器。

ES用于日志存储，会部署在计算结点，同时部署3个ES节点集群，并配置成data replicas=2，实现高可用。

Kibana用于日志前台展现，部署在计算结点，同时配置成replicas=2，实现高可用。

2.5 多云管理设计

2.5.1 跨地区多云设计

对于跨地区（>200KM）厂区设计方案，主要考虑网络延时，为保障业务稳定性，采用多集群部署

（1）业务代码的构建在中心区完成，并通过中心区的镜像仓库同步到近场集群（边缘集群）的镜像仓库，以便边缘节点可以就近拉取镜像。

（2）由于有多个边缘云，所以会有应用同时部署到多个边缘云的需求，可以通过云平台完成多集群同时部署、管理的需求，也可以基于流水线监听 镜像同步后的事件，来触发新版本应用的自动部署上线。

2.5.2 联邦集群

对于网络延时较小的环境，根据大型制造业跨厂区业务特性，利用联邦集群实现多云管理。通过OpenShift内置的Kubefed Operator，在OpenShift之上运行联邦集群。在Kubefed中通过Controller Manager维护联邦集群中每个Kubernetes集群成员的资源状态。

3 平台应用交付

3.1 平台应用运营设计方案

业务需求：

作为业务部门，综合着眼关注业务进度，不关注需求之外的其它交付内容

解决方案：

作为制造业，贯穿生产全过程的各个环节，都依赖于信息化系统的有力支撑，而这些系统或者业务模块，即具有独立性，又具有前后连贯性。跟随生产需要，流程不断优化，各业务之间协作关系也在动态调整，新的业务加进来，废弃的业务逐渐被替代。

为了适应业务快速开发、交付，各服务之间通力协作。我们将整个生产服务系统进行业务划分，分为基础类服务，各业务服务（如订单、排班，物料采购等等）。基础服务提供基础的权限认证，统一网关，注册中心，配置中心，监控中心，日志中心，调度中心，为业务服务提供微服务（spring cloud）运行环境，各业务服务作为核心业务，以微服务方式、具有独立的数据库作为服务支撑，注册到统一注册中心，通过统一网关进行访问，各服务之间通过统一网关进行调用协同，以实现数据信息传递。

平台应用运营设计分别包括项目需求分析、持续集成和交付、连续性服务运营、运维监控和分析等环节，流程图如下：

3.2 项目需求分析

3.2.1 原始需求管理

原始需求管理流程

业务用户，是需求的来源方，不同类型的业务用户，往往关注的问题和需求是不同的，建议对用户及性能分类，例如S类用户（strategy）、M类用户(management)、O类用户（operation）；不同的业务用户，其需求的不同决定了对接需求的IT人员所需要具备的能力也要不同，例如对接S类、M类、O类的IT人员角色与能力是不同的。

用户所提的需求，可以从两个维度进行分类：1、需求所关注的问题分类（体验型、流程型、功能型）；2、是否属于现有信息化系统所支撑范畴。

基于原始需求信息收集表，记录收集和澄清的需求所友信息需要业务用户和IT人员都认可。

需求管理的三个粒度层次：

Epic：史诗，指公司的关键举措，可以是重大的业务举措。Epic的粒度比较大，需要分解为Feature，并通过Feature继续分解细化为User Story来完成最终的开发和交付。

Feature：特性，代表可以给客户带来价值的产品功能或特性。

User story：用户故事，是从用户角度对产品需求的详细描述，更小粒度的功能。由Feature分解而成。

3.2.2 项目需求管理

业务系统项目以微服务的方式进行快速迭代交付，针对项目的需求分析处理要求快速迭代云计算建设方案，并能够打通工具链，减少人的依赖因素，确保过程质量，提高部署效率。

海信需求分析采用confluence统一管理。按照项目划分项目空间，进行需求编写、评审、基线。然后将需求进行用户故事拆分，并与jira工具打通，将需求拆分的用户故事分配到jira项目空间下，分配到人。用以跟踪需求的开发完成进度。如果需求有所变更，需要进行需求变更处理。将过程数据在线上呈现，为度量做数据支撑。

3.3 DevOps流程与角色设计

概念阶段-需求收集分析流程

概念阶段-产品立项评审会流程

迭代0阶段-系统总体架构设计流程

1.迭代需求分析阶段-迭代需求收集流程

1.迭代需求分析阶段-迭代需求列表输出

1.迭代需求分析阶段-用户故事编写流程

2.迭代应用设计阶段-原型设计和评审流程

3.开发-4.测试-5.发布-持续交付概念流程

3.4-开发和SIT测试流程

4.UAT测试流程

4.预投产测试流程

4.测试-缺陷管理流程

5.发布-版本发布评审流程

5.生产部署上线流程

6.回顾-迭代回顾会议流程

3.4 持续集成与交付

3.4.1 jenkins

CI/CD采用ocp集群自带的jenkins解决方案。为保障用户交付的便利性，我们针对每个业务服务提供了流水线，从代码检查，单元测试，编译构建，镜像构建，到触发镜像部署，通过流水线，一键完成，实现从代码到运行镜像的UAT环境的持续化交付。

同时，我们充分利用Http协议，请求-响应的特点，我们充分利用ocp平台，graceterminate的特征，合理设置服务参数，保障服务可以平滑切换升级，用户无感知。当UAT测试验证一切ok后，我们将镜像直接交付生产，从而保证交付都是可靠的。

考虑到开发过程中需要重复验证功能，我们采纳了基于配置驱动的开发模式，我们将服务运行配置与统一配置中心相结合，使得用户可以通过配置中心实时调整配置，灵活控制新功能是否上线，是否只在部分服务上线。这给开发团队带来极大的灵活性，来方便应对功能完善及新功能上线。

3.4.2 高并发设计

业务需求：

高并发设计

解决方案：

在公司生产、营销系统中，数据都是按照一定顺序流转并处理。有的系统需要高并发设计，有的系统对并发性，处理实时性要求较低。为保障各系统解耦，并让不同处理能力的系统能够合理匹配，正常运行。每个业务系统内入口，尽量提供异步能力，提供了消息队列机制，具体表现为业务系统api接收请求，将请求消息，送入消息队列，并立即响应。业务系统内存处理系统，根据处理能力要求，启动多服务，高并发消费消息处理，处理结果异步调用方。对于不能异步调用的服务，保障不存在gridlock问题，使之能够通过扩展服务扩展服务并发能力，结合skywalking监控流量及响应时间分布，合理调整服务副本数。

在每个服务内，对于读多写少的场景，我们充分利用缓存来加速请求的响应时间，以提高并发能力，同时降低对于数据库的负载压力。而对于几乎不变化的产品、配件等型号及参数等产品库信息，为了提高查询效率，我们采用的是NoSQL方案，通过ES来实现数据查询服务。

3.5 连续性运营

3.5.1 应用服务扩缩容

以微服务架构部署的容器应用，在单个实例对业务的支撑能力不足时，应通过水平扩展的方式进行多实例部署，以支撑更多的业务请求。同时，为了减少系统资源的浪费，在业务量减少时，也应减少应用的实例数量，释放出系统资源以供其他系统使用。

（1）自动扩缩容

基于CPU使用率的自动扩缩容可应用于CPU密集型的应用程序，在CPU使用率提高时能够通过水平扩展来完成更多的计算工作。基于自定义业务指标的自动扩缩容可用于需要根据业务指标完成自动扩缩容的应用程序。

（2）手工扩容

根据业务量评估，人工完成扩缩容。

3.5.2 应用服务下线

针对不用的服务，用户需提交服务下线工单

服务下线流程如下图所示：

业务流程描述：

1. 用户从云管平台发起服务下线订单（如果有多个服务，服务下线按每个子服务订单进行操作）；

2. 云管平台需要再次确认用户是否确实要删除服务；

3. 云管分解出2个工单，分别给PaaS和云管平台；

4. PaaS平台收到服务下线工单后，PaaS平台删除服务；

5. PaaS删除服务完成后，通知到基础设施管理员；

6. 云管平台收到PaaS通知后，开始进行计算资源、存储资源回收；

7. 流程结束。

作者：单奇聪-海信集团流程IT与数据管理部/技术开发部 – 部长硕士学历，毕业于早稻田大学。擅长云原生技术、AI技术的架构设计与应用实践，对推进企业共享架构转型和工业互联网平台建设有实战的经验。曲栋-海信集团流程IT与数据管理部/基础架构管理部 – 部长云计算领域资深架构师，13年信息化从业经验，工作期间曾在多个大型央企任职高级基础架构顾问，并负责信息化基础建设领域的实施以及新业务系统的基础架构评审与整体规划。2016年开始主导海信集团企业云云平台的建设，并完成海信集团IaaS和PaaS平台、海信数据中台以及海信天眼智能运维平台的建设。王大洋-海信集团流程IT与数据管理部/基础架构管理部 – 云计算工程师目前就职于海信集团流程IT与数据管理部，云计算工程师，参与建设并维护海信云平台项目，主要负责PaaS云与IaaS云基础设施设计及维护，擅长操作系统、VMware虚拟化、及docker、openshift等容器云相关技术，熟练使用python，shell等脚本语言。李沈阳-海信集团流程IT与数据管理部/技术开发部 – 软件开发工程师毕业于西安电子科技大学计算机专业，于2012年加入海信，主要从事智能电视TV业务，流媒体、私有云工作。作为系统核心人员的海信极简Vidaa，获青岛市科技进步一等奖。19年起，主要负责系统服务架构，系统上云，系统优化，系统运维等工作。张健-海信集团流程IT与数据管理部/技术开发部 – 软件开发工程师女，硕士学历，毕业于西安电子科技大学。于2015年入职海信，入职海信后15-18年从事java系统开发工作，主要负责系统微服务拆分，微服务基础架构以及微服务开发工作。19年到目前主要从事云平台及API网关运维工作，主要负责系统上云，云上故障解决以及API网关的开发与运维工作。

（编辑：拼字网 - 核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!