大数据架构工程师

大数据架构师需要参与规划从数据源到数据应用的整体流程，并参与相关产品的决策。下面是我为您精心整理的大数据架构师的基本职责。

大数据架构师的基本职责1

职责：

1.负责整个大数据平台架构的设计和构建;

2.负责构建大数据平台的数据交换、任务调度等通用平台;

3.制定开发、测试、实施、维护的标准和规范，指导和培训工程师，不断提升团队能力。

4.参与系统需求分析、架构设计、技术选型、应用设计与开发以及测试与部署，负责编写核心部分代码。

5.持续挑战新的技术方向，攻克大数据量、高并发、高可用、可扩展等技术难点。

任职要求：

年以上大数据架构经验，丰富的数据仓库、数据挖掘、机器学习项目经验

2.大规模数据处理的架构和设计实战经验

3.精通Spark、MR，熟练HDFS、Yarn、Hbase、Hive、MongoDB，熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等，并具有丰富的大型数据平台工程经验

4.深刻理解大数据处理(流计算，分布式计算，分布式文件系统，分布式存储等)相关技术和实现方法

5.熟悉主数据、元数据、数据质量等企业数据管理相关的体系和方法，熟练LinuxUnix平台上的开发环境

6.本科或以上学历，计算机软件或相关专业，丰富的java开发经验和互联网背景优先。

7.具有比较强的问题分析和处理能力，有比较优秀的动手能力，热衷技术，精益求精

大数据架构师的基本职责2

职责：

1. 深刻理解政府行业业务模式，构建政府行业的数据模型，制定公司大数据技术发展路线;

2. 对接业务研究和技术部门，主动搜集和转化需求，组织数据中心业务开发，进行数据相关产品需求分析和设计;

3. 搭建数据仓库，研发数据库管理系统，搜集、提取、处理业务积累的海量数据，开展数据分析和挖掘;

4. 根据公司战略和发展需要，规划数据中心重点工作和任务;落实部门人员、事务管理，开展跨部门、跨地区协作，协助对外交流与合作。

职位要求：

1. 5年以上相关工作经验，有团队管理和项目管理经验者优先;

2.了解政府运作机制，掌握财政行业知识，有电子政务行业经验者优先;

3. 熟练掌握使用Java或Python,精通数据库查询语言如SQL，Oracle等,在机器学习模型和算法方向有应用经验者优先;

4. 具备数据中心产品策划整体思维，有大数据处理、分析、挖掘经验者优先;

5. 逻辑思维严密，具备业务抽象、分解和标准化的能力，口头和书面表达优秀;

6. 有较强的大局意识和良好的团队合作意识，富有领导力，具备优秀的人际交往和沟通能力。

大数据架构师的基本职责3

职责:

1、从事电信行业大数据项目相关业务调研、产品标准建设、核心模型设计和优化、系统测试等相关工作

2、与数据专业委员会一起研究数据建模方案和建模工具，负责产品线产品的数据架构、数据模型设计

3、参与研究数据库之间的数据转换方式，参与项目中的数据移植工作，收集在项目中的数据移植经验，优化产品的数据模型

4、负责培训本部门队伍的数据模型基础理论工作，建立数据模型团队

岗位要求：

1、统招本科学历，3年以上主流数据上(DB2、Oracle、SQLServer、Mysql等)ETL设计、开发经验，具备大型数据仓库逻辑模型和物理模型设计经验，精通SQL，有较好的SQL性能调优经验;

2、拥有Python，R等数学建模工具的使用经验，并具备一定的数据处理和建模经验，可以输出相应的模型分析结果、模型比较、模型效率以及对模型的理论和判断依据方法并对其进行完整的解释和说明;

3、熟悉统计学基本原理，做过实战的数据建模项目;

4、有分布式数据仓库建设相关经验者优先，具备电信行业数据仓库建设相关经验者优先;

大数据架构师的基本职责4

职责：

1、负责大数据平台的架构设计、核心代码开发等任务;根据项目要求编写相关技术文档;

2、负责大数据平台的架构评审，代码评审，上线评审;参与数据应用需求、设计、审核和评审;

3、负责核心模块研发，负责大数据平台的搭建，完成系统调试、集成与实施;

4、负责建立和维护大数据平台技术标准规范，指导开发人员编写代码;

任职要求：

1、本科及以上计算机相关专业毕业;

2、精通离线和实时数据处理流程，掌握离线数据处理框架hive、impala、spark-sql等，掌握实时数据处理常用技术工具，包括Storm、SparkStreaming等;

3、熟悉大数据技术生态圈，精通大数据技术架构，有大数据平台构建经验;

4、掌握常见数据流接入工具，包括Flume、kafka等;

5、熟练掌握基本的Linux操作系统和某种脚本语言编程(如Shell等);

6、掌握一种或以上实时处理语言，如JAVA、SCALA、PYTHON等，有SCALA经验者优先;

7、有实际大规模数据(TB级以上)处理经验优先;

大数据架构师的基本职责5

职责：

1、负责公司的大数据处理框架的研发设计工作，梳理可实现方案和技术规范;

2、开发、完善公司大数据平台;参与公司离线、实时大数据处理系统的设计、开发、测试及多个业务模块的自动化集成;

3、负责业务平台数据统计分析模块的设计与规划;

4、负责公司产品研发过程中的数据及存储设计;

5、带领和培养团队完成组织分解的目标;

任职要求：

1、统招本科及以上学历，计算机、软件工程相关专业，至少8年以上工作经验，5年以上大数据开发经验;

2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相关技术的基础架构

3、熟悉数据仓库，数据算法，分布式计算技术理论，具有大数据整体系统架构设计经验;

4、熟悉Linux系统，熟练使用shellperlpython脚本处理问题;

5、对深度学习框架(Tensorflow)和机器学习(svm 随机深林贝叶斯等)有一定了解的优先;

6、能够组织项目开发组协同工作，包括团队沟通、计划、开发环境管理等

大数据就业方向主要有：互联网、物联网、人工智能、金融、体育、在线教育、交通、物流、电商等，具体岗位如下：

01大数据开发工程师

该工作岗位主要负责企业大数据平台的开发和维护，负责大数据平台持续集成相关工具平台的架构设计与产品开发等。还要根据自己的工作安排高效、高质地完成代码编写，确保符合前端代码规范；梳理整体业务指标，开发可视化报表。

02数据库工程师

主要工作就是负责数据库的运营和维护，包括数据库的安装、监控、备份、恢复等基本工作；还要要参与到前期的数据库设计，中期的数据库测试和后期的数据库容量管理和性能优化。

03大数据架构工程师

架构师的工作内容就是负责Hadoop集群架构设计开发、搭建、管理、运维、调优；负责数据对接和对外服务设计、开发和维护；负责大数据框架和大数据应用的程序设计、开发和维护；负责基于大数据技术对海量数据的自动分析处理和挖掘工作。

04大数据运维工程师

运维工程师的基本职责就是是负责企业服务的稳定性，确保企业服务可以24小时不间断地为用户提供服务，负责维护并确保整个服务的高可用性，同时不断优化系统架构提升部署效率、优化资源利用率。

并且在出现问题时需要处理大数据平台的各类异常和故障，确保系统平台的稳定运行。

05大数据挖掘工程师

数据挖掘的工作就是负责从大量的数据中通过算法搜索隐藏于其中有用信息，然后辅助企业做出各种决策，让企业的决策智能化，自动化，从而使企业提高工作效率，减少错误决策的可能性，以在激烈的竞争中处于不败之地。