大数据开发是做什么的？需要具备什么技能？

大数据开发、数据仓库、数据安全、数据分析、数据挖掘等都是围绕大数据的商业价值应运而生。大数据开发主要分为大数据平台开发（研发级）、大数据应用开发和大数据分析（统计学和机器学习），不同岗位需要面对不同的岗位职责，也需要具备不同的知识结构。

大数据开发做什么？

负责公司数据平台与数仓模型设计与开发；规范底层数据存储，结构化查询逻辑，方便快捷获取数据；支持实时数据报表、离线数据报表、交互式数据分析等多种数据应用；对大数据相关的前沿技术进行预研。

大数据开发需要具备的基本技能：目前从事大数据应用开发的语言包括Java、Python、Scala、R等，需要熟悉Hadoop、HBbase、hive、spark、Flink、ES、Presto、Flume、Kafka生态的原理和使用方法，掌握数据开发、数据挖掘的各项流程。

Java语言由于具备较为完善的生态，而且Hadoop平台自身也是Java语言开发的大数据开发，所以Java语言往往是比较常见的选择。在学习Java语言的过程中，可以同步接触Hadoop平台，掌握Hadoop平台的整体结构，并且通过Java完成Hadoop平台的一些案例实验，进而逐步掌握在Hadoop平台下的Java应用开发。

大数据分析通常采用统计学分析方式和机器学习方式两种，统计学方式采用Python和R语言是不错的选择，而机器学习往往更多采用Python语言来实现，同时需要学习一系列算法的实现过程，包括Knn、决策树、支持向量机、朴素贝叶斯等等。所以，从事大数据分析需要具备一定的数学功底。

Hotodo导学

（编辑：拼字网 - 核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!