大数据工程师工作强度

IT行业都加班吧，加多少看情况和个人能力

大数据开发：

1、负责公司大数据产品项目的后台研发；

2、负责技术预研，产品设计以及文档编写等工作；

3、参与大数据的数据治理和数据处理相关java开发工作；

4、参与海量数据处理，业务数据体系的设计、数据统计、分析及数据建模

大数据开发要处理大规模的数据，目前的各种技术在发展，高效的开发工具大大减轻了大数据开发工程师的工作负担，所以大数据开发工程师的工作虽然不是很轻松，但是也算不上很累，当然加班的情况还是存在的。

突然想起来，加米谷之前一个学大数据开发的学员说过一句话：现在这个社会做什么工作不需要加班呢？反正都是加班，不如选个工资高的加

做大数据开发工程师，加班是肯定会有的。所有的开发的岗位，都不是轻松的工作，不然也不会有那么高的薪资。如果想要拿高薪，也是需要对应的付出的。

1.如何成为大数据工程师由于目前大数据人才匮乏，对于公司来说，很难招聘到合适的人才—既要有高学历，同时最好还有大规模数据处理经验。因此很多企业会通过内部挖掘。2014年8月，阿里巴巴举办了一个大数据竞赛，把天猫平台上的数据拿出来，去除敏感问题后，放到云计算平台上交予7000多支队伍进行比赛，比赛分为内部赛和外部赛。“通过这个方式来激励内部员工，同时也发现外部人才，让各行业的大数据工程师涌现出来。”目前长期从事数据库管理、挖掘、编程工作的人，包括传统的量化分析师、Hadoop方面的工程师，以及任何在工作中需要通过数据来进行判断决策的管理者，比如某些领域的运营经理等，都可以尝试该职位，而各个领域的达人只要学会运用数据，也可以成为大数据工程师。2.薪酬待遇作为IT类职业中的“大熊猫”，大数据工程师的收入待遇可以说达到了同类的顶级。国内IT、通讯、行业招聘中，有10%都是和大数据相关的，且比例还在上升。大数据时代的到来很突然，在国内发展势头激进，而人才却非常有限，现在完全是供不应求的状况。在美国，大数据工程师平均每年薪酬高达万美元，而据了解，在国内顶尖互联网类公司，同一个级别大数据工程师的薪酬可能要比其他职位高20%至30%，且颇受企业重视。3.职业发展路径由于大数据人才数量较少，因此大多数公司的数据部门一般都是扁平化的层级模式，大致分为数据分析师、资深研究员、部门总监3个级别。大公司可能按照应用领域的维度来划分不同团队，而在小公司则需要身兼数职。有些特别强调大数据战略的互联网公司则会另设最高职位—如阿里巴巴的首席数据官。这个职位的大部分人会往研究方向发展，成为重要数据战略人才。另一方面，大数据工程师对商业和产品的理解，并不亚于业务部门员工，因此也可转向产品部或市场部，乃至上升为公司的高级管理层。

不难学的，大数据开发是大数据职业发展方向之一，另外一个方向是大数据分析。从工作内容上来说，大数据开发主要是负责大数据挖掘，大数据清洗处理，大数据建模等工作，主要是负责大规模数据的处理和应用，工作主要以开发为主，与大数据可视化分析工程师相互配合，从数据中挖掘出价值，为企业业务发展提供支持。

是的，公司搞不完回家还要接着搞，反正有U盘，还有笔记本电脑，这不是等于加班了吗？再说事情没做完即使回到家你也不好意思休息呀，而且为了讨好领导或者升职加薪，或者为了远大的理想你也会动用自己业余时间去工作，总之IT业就是这样的。

【导读】时至今日，相信大家对大数据工程师一点也不陌生，作为时下比较热门的高薪职业，很多人想转行做大数据工程师，那么你知道大数据工程师的日常工作做什么?工作强度大不大呢?为此小编整理了以下内容，一起来看看吧!

1， 写 SQL ：一般来说许多入职一两年的大数据工程师首要的工作就是写 SQL ;

2 ，为集群搭大数据环境(一般公司招大数据工程师环境都现已搭好了，公司内部会有现成的大数据途径);

3 ，维护大数据途径(这个应该是每个大数据工程师都做过的工作，或多或少会承担“运维”的工作);

4， 数据搬家(有部分公司需求把数据从传统的数据库 Oracle、MySQL 等数据搬家到大数据集群中，这个是比较繁琐的工作);

5 ，运用搬家(有部分公司需求把运用从传统的数据库 Oracle、MySQL 等数据库的存储进程程序或许SQL脚本搬家到大数据途径上，这个进程也是非常繁琐的工作，高度重复且杂乱)

6 ，数据收集(收集日志数据、文件数据、接口数据，这个触及到各种格式的转化，一般用得比较多的是 Flume 和 Logstash)

7， 数据处理

，离线数据处理(这个一般就是写写 SQL 然后扔到 Hive 中跑，其实和首要点有点重复了)

，实时数据处理(这个触及到音讯部队，Kafka，Spark，Flink 这些，组件，一般就是 Flume 收集到数据发给 Kafka 然后 Spark 消费 Kafka 的数据进行处理)

8 ，数据可视化(这个我司是用 Spring Boot 联接后台数据与前端，前端用自己魔改的 echarts)

9 ，大数据途径开发(偏Java方向的，大约就是把开源的组件整合起来整成一个可用的大数据途径这样，常见的是各种难用的 PaaS 途径)

10 ，数据中台开发(中台需求支撑接入各种数据源，把各种数据源清洗转化为可用的数据，然后再根据原始数据建立起宽表层，一般为了节省开发本钱和服务器资源，都是根据宽表层查询出业务数据)

11 ，建立数据仓库(这儿的数据仓库的建立不是指 Hive ，Hive 是建立数仓的东西，数仓建立一般会分为三层 ODS、DW、DM 层，其间DW是最重要的，它又能够分为DWD,DWM,DWS，这个层级仅仅逻辑上的概念，类似于把表名按照层级差异隔来的操作，分层的目的是防止开发数据运用的时分直接访问底层数据，能够减少资源，留意，减少资源开支是减少 内存 和 CPU 的开支，分层后磁盘占用会大大增加，磁盘不值钱所以没什么联络，分层能够使数据表的逻辑更加清楚，便当进一步的开发操作，假定分层没有做好会导致逻辑紊乱，新来的员工难以接手业务，跋涉公司的运营本钱，还有这个建数仓也分为建离线和实时的)

以上就是小编今天给大家整理发送的关于“大数据工程师的日常工作做什么?”的相关内容，希望对大家有所帮助。想了解更多关于大数据工程师要求具备的能力，关注小编持续更新。

大数据从事的是开源工作，更倾向于“研发”，能够重新激起程序员研发程序的热情，职业生涯有了新的追求，这意味着大数据会成为值得程序员长期奋斗不断突破的工作；其次，由于大数据属新兴领域，专业人才比较缺乏，高端人才更是企业争抢的对象，薪资上升容易，职业发展潜力巨大。二、大数据人才薪资如何？做技术编程也是不错的，不过目前大数据是个趋势，稍微有实力点的企业都在上大数据项目，而Hadoop本身又是编程开发的，再加上Hadoop工程师普遍比纯技术编程开发要高30%以上，所以有很多搞技术编程的都在往hadoop大数据方向转。做技术编程的人已经比较多了，很多人工作4~5年月薪也难上2万，能上万的更是寥寥。但Hadoop很多人只1年经验就拿2万以上了。所以很多现在待遇还不错的人也在学大数据，主要也是考虑未来发展天花板的问题。大数据工程师的工作难度大吗?首先我们先了解一下大数据工程师们需要处理哪些工作，根据工作内容，大家就能够在心中有个基本的概念。在工作岗位上，大数据工程师需要分析优化系统，解决系统运行中的稳定性问题;负责大数据基础设施框架的维护及二次开发，如kafka、flink、hbase等，负责进行数据采集、处理、分析、统计、挖掘工作等等。大数据工程师的工作累吗?除开以上工作之外，大数据工程师还需要负责数据仓库、数据集市建设，通过离线、实时方式接入各数据源数据;根据业务需求对数据、清洗、处理、计算，建模等工作，负责 即时查询工具、固定报表、运营数据产品、Dashboard等产品的设计、研发及应用等等。