回答数
8
浏览数
5850
趁青春
总结一句话就是 写 SQL (很多入职一两年的大数据工程师主要的工作就是写 SQL )还有其他的2 为集群搭大数据环境(一般公司招大数据工程师环境都已经搭好了,公司内部会有现成的大数据平台,但我这边会私下搞一套测试环境,毕竟公司内部的大数据系统权限限制很多,严重影响开发效率)3 维护大数据平台(这个应该是每个大数据工程师都做过的工作,或多或少会承担“运维”的工作)4 数据迁移(有部分公司需要把数据从传统的数据库 Oracle、MySQL 等数据迁移到大数据集群中,这个是比较繁琐的工作,吃力不讨好)5 应用迁移(有部分公司需要把应用从传统的数据库 Oracle、MySQL 等数据库的存储过程程序或者SQL脚本迁移到大数据平台上,这个过程也是非常繁琐的工作,无聊,高度重复且麻烦,吃力不讨好)6 数据采集(采集日志数据、文件数据、接口数据,这个涉及到各种格式的转换,一般用得比较多的是 Flume 和 Logstash)7 数据处理 离线数据处理(这个一般就是写写 SQL 然后扔到 Hive 中跑,其实和第一点有点重复了) 实时数据处理(这个涉及到消息队列,Kafka,Spark,Flink 这些,组件,一般就是 Flume 采集到数据发给 Kafka 然后 Spark 消费 Kafka 的数据进行处理)8 数据可视化(这个我司是用 Spring Boot 连接后台数据与前端,前端用自己魔改的 echarts)9 大数据平台开发(偏Java方向的,大概就是把开源的组件整合起来整成一个可用的大数据平台这样,常见的是各种难用的 PaaS 平台)10 数据中台开发(中台需要支持接入各种数据源,把各种数据源清洗转换为可用的数据,然后再基于原始数据搭建起宽表层,一般为了节省开发成本和服务器资源,都是基于宽表层查询出业务数据)11 搭建数据仓库(这里的数据仓库的搭建不是指 Hive ,Hive 是搭建数仓的工具,数仓搭建一般会分为三层 ODS、DW、DM 层,其中DW是最重要的,它又可以分为DWD,DWM,DWS,这个层级只是逻辑上的概念,类似于把表名按照层级区分开来的操作,分层的目的是防止开发数据应用的时候直接访问底层数据,可以减少资源,注意,减少资源开销是减少 内存 和 CPU 的开销,分层后磁盘占用会大大增加,磁盘不值钱所以没什么关系,分层可以使数据表的逻辑更加清晰,方便进一步的开发操作,如果分层没有做好会导致逻辑混乱,新来的员工难以接手业务,提高公司的运营成本,还有这个建数仓也分为建离线和实时的)总之就是离不开写 SQL ...
爱情过佳佳
。自从华为发布GPUTurbo技术之后,外界就一直对此技术对手机显示方面是否有提升这一话题存在着争议。近日,华为方面宣布GPUTurbo技术将下放至华为Mate10Pro等机型,新浪数码在第一时间把一部Mate10Pro更新到最新的版本,用游戏测试软件来试一下在Mate10Pro上,GPUTurbo技术是否能做到对游戏的画面质量进行提升。
于我流年路过你倾城一世
有用,我从网上看到消息,华为FusionInsight成为领导者象限第一名,这意味着华为FusionInsight的技术能力和战略能力领跑市场。不由想起在今年2月,华为的FusionInsight进入Gartner数据分析解决方案的特定领域者象限中。这份“Magic Quadrant for Data Management Solutions for Analytics”报告主要是针对数据管理,处理和分析的各类解决方案,包括传统的数据仓库,以及新的云上大数据解决方案。
找不到背影
是国家重点扶持战略性新兴产业,大数据产业已逐步从概念走向落地“大数据”和“虚拟化”两大热门领域得到了广泛关注和重视,90%的企业都在用大数据,所以行业需求大,这方面人才的需求也是非常旺盛。就业方向有JAVA工程师、大数据开发工程师、Linux内核架构师、大数据软件工程师、系统集成工程师等。行业月平均薪资也是在8k以上。3、学习课程:计算机组装与维护、C语言程序设计、JSP应用开发、企业网站实训等。
她是你的梦你是我的梦
企业投下数百万美元用于大数据、大数据分析,并雇用数据分析家,但却感到很受挫。无可否认,他们现在得到了更多、更好的数据。他们的分析师和分析法也是一流的。但经理人对业务的想法和争论,似乎与过去的类型仍一样,只是他们使用的数据与分析法都比以前好得多。最终的决定可能是更加由数据驱动(data-driven),但组织文化给人的感觉仍然相同。正如一位CIO最近告诉我的,“我们现在可以做实时的分析,那是我在五年前根本无法想象的,但这么所带来的影响力,仍与我的预期差距很远。” 怎么回事?《财富》杂志1000大企业举办了几场大数据与大数据分析会议,并花费大量时间协助一些似乎对投资在分析法上的回报感到很满意的组织,结果一个明确的“数据启发法”(data heuristic)出现了。分析成果为平庸到中等的企业,用大数据和分析法来支持决策;而“分析报酬率”(Return on Analytics,简称ROA)良好的企业,使用大数据和分析法来推动并维持行为的改变。较好的数据驱动分析不仅仅是纳入既有的流程和检讨会,它们还被用来创造及鼓励不同类型的对话和互动。 “要等到管理阶层确认想要改变、并清楚知道影响的行为是什么之后,我们才会去做分析或商业情报的工作,”一位金融服务公司的CIO说。“提高合乎法规的情况和改善财务报告,是很容易获得的成果。但是,这只意味着我们使用分析法去做我们已经做得比以前好的事情。”
优质工程师报名问答知识库