大数据、人工智能与云计算的融合应用分析

随着我国经济体制的不断发展与完善，目前各产业已有绝大部分迈入了网络信息化发展阶段，这使得数据管理、数据调配、数据运用、数据解析等工作逐渐被企业重视，也使得数据管理水准的要求不断提升。而其中大数据平台作为数据管理体系架构的基础，在功能性方面虽然能够提供更高效的数据管理平台，但是仍存有较多隐患。因此，如何将大数据、人工智能、云计算技术融合，便需要编程人员给予足够重视。

1 数据处理的变革阶段

首先，在大数据技术发展初期，为有效打破数据孤岛等问题对数据管理与协调的影响，已经初步具有数据湖的管控概念，并且为异构与多源数据的归集提供了渠道，这使得企业数据管理的难度得以显著降低，同时也为数据处理提供了相对专业化的检索系统。尽管系统为数据处理提供了API与SQL业务的支持渠道，但是面对海量的数据，仍存在较多阻碍。其次，处于变革第二阶段，企业客户为更好的控制数据资源的管理效能，在原有技术基础上，不断尝试着提高SQL标准的兼容性。过程中，Spark技术逐渐替代了常规的Map Reduce架构，并且Hadoop技术在结构化数据处理与分析方面也有了较大的进展与突破。最后，处于变革第三阶段，部分企业在数据库转型上已形成相对专业化的管理体系，但对于SQL标准数据处理的深度却不再满足，对此便衍生出了机器学习算法解释云计算应用，为数据分布化数据的管理提供了集中调控平台，使得数据的应用渠道更广泛，并且也降低了各行业数据管理与操控的整体门槛，为人工智能技术的融入提供了窗口。

2 大数据、人工智能与云计算的融合

随着我国经济与功能体系的不断发展与完善，现代企业在数据资源管控方面，已经不再单纯依仗于IT部门，转而更关注企业所有部门的监管与处理，通过此举不但能够显著降低企业数据的管理效率，使业务服务的质量更可控，同时凭借统一的大数据管控平台，更能够避免个别部门存有"信息孤岛"问题，使得企业资源分配、编排调度等工作的开展受到阻碍。故而，若要增强企业数据管理的效果，使业务平台得到持续性的拓展，便需要从大数据、人工智能与云计算技术的融合角度着重研究，确保能够充分提升IT部门的支持效能，并能够有效解决以往常见的数据管理问题，才能使企业经济与功能的发展更可控。大数据平台在创建初期，常采用Map Reduce作为计算框架，通过简单的作业调度方法为各企业数据的管理与解析提供平台，但是随着企业资源管理要求的不断提升，原有计算框架仅能够满足管理调度资源计算的要求，并且在管理粒度方面存有较多问题，极易使资源混杂，很难满足现代企业客户的使用需求；云计算技术在资源封装与管理调度方面的运用水准较成熟，从功能性角度来看，理应能够解决传统大数据平台的问题，但是在Docker容器技术应用前，云计算技术主要应用的渠道便是虚拟机的资源封装与操作系统加载，在资源利用方面存有劣势，以往尽管有厂商尝试将云计算与大数据平台结合，但由于资源利用率与稳定性的问题，很少有成功结合的消息。而随着Docker、Kubernetes技术的持续发展，现代微服务技术概念的融入，为目前大数据平台提供了人工智能介入的接口，为云计算资源管理与调度资源提供分布式的操作系统，通过集群理念使得各类数据资源的封装调度更规范化，并且通过能够根据容器特征进行重新编排，为公共服务层提供了更便捷的数据共享渠道，此举无疑提高了云计算资源的利用率，使得企业不同部门、不同地域、不同用户的资源管理与权限更具独立性，极大满足了现代业务开展的个性化需求，为后续业务数据逻辑与数据研究奠定了基础，为企业数据资源的利用提供了更高效且便捷的平台。

3 技术融合的应用方向

中国邮政大楼数据平台是领先于国际的数据管控平台，故此在阐述技术融合应用期间，将以此为例，阐述技术融合的应用、优势与特征。

3.1 数据框架的架构

从数据架构角度来看，中国邮政大数据平台在数据管理方面，基于云计算与容量云技术为多组数据分析与挖掘提供了渠道，使智能技术得以融入数据框架内，为业务层、管理层到决策层提供更完善且科学的数据解析系统，使数据管理风险与收益更直观化，能够为后续业务数据的整体管理、分类、统筹与研究提供窗口，使预测数据更准确且快捷的传递至管理平台内，以此增强管理组织与业务经营的可控性，并为后续邮政分析与决策提供帮助。从大数据平台构成角度俩看，基础服务集群可划分为数据湖集群、企业数据仓库集群、省份服务集群、机器学习实验集群与开发培训集群。其中，数据湖集群是基于TDH平台搭建的数据湖，在使用中能够为多源异构数据提供归集平台，使数据池得以清晰与整合；企业数据仓库集群是基于TDH平台构建的逻辑数据库，能够为数据仓库、数据集市提供集成化的迁移渠道；省份服务集群是基于TOS容器为多组用户数据提供的分析平台，能够为省份、市县提供数据管理、上传、下载、存储与统一的计算平台，使业务管理安全性与可控性增强；机器学习实验集群是基于TOS容器搭建的学习性平台，能够为企业数据管理提供业务建模、数据运算、功能研发与业绩推广等渠道；开发培训集群主要为企业技术、管理与研发人员提供测试培训服务，以便使企业内部员工的专业素质更可控，避开风险管控、服务质量、流程操作、产品创新等工作中潜在的问题。

3.2 数据仓库与集市的迁移

我国邮政大数据平台是全球首个采用(TDH)技术完全取代Teradata和Oracle的混合架构搭建新一代逻辑数据仓库和数据集市的系统。原量收系统使用Teradata的数据仓库和Oraclee的数据库，数据使用空间目前已接近30TB，其用户使用规模已接近5万，能够为不同用户提供灵活的报表查询功能，甚至报表查询单日频次能达到40万次。为确保数据管理效果得以保障，在前期调研工作中，系统架构人员需基于实际需求确定可行性较高的方案，并做好整体架构，确保原有工具操作特征不变，仅做原有数据仓库与集市的迁移工作，由此可显著降低数据遗失与受损的风险。。其次，在数据迁移过程中，管理人员需基于环境部署、接口迁移、模型迁移、数据迁移、报表迁移等要求将数据统一导入大数据平台内，仅对接口、基础层模型与汇总模型进行轻度改造，避免较大的数据变更，使迁移耗时与成本提高。从运营角度来看，数据的有效迁移，能够显著降低后续数据管理的经济成本，同时能够兼容各种类型的数据与方言，使整体数据处理与管理性能得以提升。

3.3 机器学习平台的应用

以TOS为基础，打造多租户型的运行模式，对处于平台中的组件实施完全容器化处理，在TOS上精准提供能力类服务；部署内部云平台系统时采用统一部署的方法，动态化分配处于管理范围内的租户，主要对网络、计算与存储等资源进行有效分配，同时隔离资源，确保系统下的业务人员与分析人员可获得具有极强独立性的资源活动环境，达到创新赋能业务的工作目标，在动态化资源调配措施的支持下，保持共享资源的优势。

申请审批立项工作后，相应的项目组人员处于租户空间中，对数据资源进行访问与接入，充分发挥平台上的服务资源的作用，对机器学习平台中的挖掘工具与分析工具进行应用，做好处理数据、应用算法、开发模型以及发布应用等方面的工作。审批验收达标准后，继续推广技术成果，进行后续部署工作，将数据应用服务提供给全集团。借助TDH+TOS来形成微服务架构，其具有薄应用与厚平台的特点，可在租户群体中进行独立或者异构性测试，保持极高的计算能力，团队所具有的功能也极为丰富。以资产化的方法来管理数据，基于集团数据存在的跨专业、跨板块以及海量多样的需求特点，对各个版块实施集成创新处理，通过形成数据资产型目录来提升数据检索效率，提升资产治理水平。

4 结论

大数据、云计算与人工智能技术的相融，不但能够为企业数据处理提供更完善的协调平台，增强企业内部数据的可控性，同时也能够基于企业发展需求，提供更多元化的数据调控方案。故而，在论述大数据、人工智能与云计算的融合应用期间，必须明确数据处理技术的变革与特征，并明确三种技术间的可融合要素，能够为企业数据资源的利用奠定基础，才能使企业数据处理的效果得以持续保障。

（编辑：拼字网 - 核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!