回答数
7
浏览数
18895
无脑少女
1. Java编程技术Java编程技术是大数据学习的基础,Java是一种强类型语言,拥有极高的跨平台能力,可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等,是大数据工程师最喜欢的编程工具。命令对于大数据开发通常是在Linux环境下进行的,相比Linux操作系统,Windows操作系统是封闭的操作系统,开源的大数据软件很受限制。3. HadoopHadoop是大数据开发的重要框架,其核心是HDFS和MapReduce,HDFS为海量的数据提供了存储,MapReduce为海量的数据提供了计算,因此,需要重点掌握,除此之外,还需要掌握Hadoop集群、Hadoop集群管理、YARN以及Hadoop高级管理等相关技术与操作!4. HiveHive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行,十分适合数据仓库的统计分析。对于Hive需掌握其安装、应用及高级操作等。5. Avro与ProtobufAvro与Protobuf均是数据序列化系统,可以提供丰富的数据结构类型,十分适合做数据存储,还可进行不同语言之间相互通信的数据交换格式,学习大数据,需掌握其具体用法。是Hadoop和Hbase的重要组件,是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组件服务等,在大数据开发中要掌握ZooKeeper的常用命令及功能的实现方法。7. HBaseHBase是一个分布式的、面向列的开源数据库,它不同于一般的关系数据库,更适合于非结构化数据存储的数据库,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,大数据开发需掌握HBase基础知识、应用、架构以及高级用法等。是用Java编写的基于JDBC API操作HBase的开源SQL引擎,其具有动态列、散列加载、查询服务器、追踪、事务、用户自定义函数、二级索引、命名空间映射、数据收集、行时间戳列、分页查询、跳跃查询、视图以及多租户的特性,大数据开发需掌握其原理和使用方法。9. RedisRedis是一个key-value存储系统,其出现很大程度补偿了memcached这类keyvalue存储的不足,在部分场合可以对关系数据库起到很好的补充作用,它提供了Java,CC++,C#,PHP,JavaScript,Perl,Object-C,Python,Ruby,Erlang等客户端,使用很方便,大数据开发需掌握Redis的安装、配置及相关使用方法。10. FlumeFlume是一款高可用、高可靠、分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。大数据开发需掌握其安装、配置以及相关使用方法。11. SSMSSM框架是由Spring、SpringMVC、MyBatis三个开源框架整合而成,常作为数据源较简单的web项目的框架。大数据开发需分别掌握Spring、SpringMVC、MyBatis三种框架的同时,再使用SSM进行整合操作。是一种高吞吐量的分布式发布订阅消息系统,其在大数据开发应用上的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。大数据开发需掌握Kafka架构原理及各组件的作用和使用方法及相关功能的实现!是一门多范式的编程语言,大数据开发重要框架Spark是采用Scala语言设计的,想要学好Spark框架,拥有Scala基础是必不可少的,因此,大数据开发需掌握Scala编程基础知识!是专为大规模数据处理而设计的快速通用的计算引擎,其提供了一个全面、统一的框架用于管理各种不同性质的数据集和数据源的大数据处理的需求,大数据开发需掌握Spark基础、SparkJob、Spark RDD、spark job部署与资源分配、Spark shuffle、Spark内存管理、Spark广播变量、Spark SQL、Spark Streaming以及Spark ML等相关知识。是一个批量工作流任务调度器,可用于在一个工作流内以一个特定的顺序运行一组工作和流程,可以利用Azkaban来完成大数据的任务调度,大数据开发需掌握Azkaban的相关配置及语法规则。与数据分析Python是面向对象的编程语言,拥有丰富的库,使用简单,应用广泛,在大数据领域也有所应用,主要可用于数据采集、数据分析以及数据可视化等,因此,大数据开发需学习一定的Python知识。
此夜安有
大数据(数据挖掘)是众多学科与统计学交叉产生的一门新兴学科。大数据牵扯的数据挖掘、云计算一类的,所以是数学一类的专业,现在本科数学类下辖子专业有[信息与计算科学],[数学与用用数学],[统计学]等。[统计学]是通过搜索、整理、分析、描述数据等手段,以达到推断所测对象的本质,甚至预测对象未来的一门综合性科学。其中用到了大量的数学及其它学科的专业知识,它的使用范围几乎覆盖了社会科学和自然科学的各个领域。当今的”大数据“潮流使得我们获得了海量的数据,但掌握这些海量的数据本身并无意义。真正的意义体现在对于含有信息的数据进行专业化的处理。要对大数据进行处理,在实际的运用中,统计学能够以较低的成本,较少的数据,对数据进行精确度相对较高的的分析,这是大数据分析所无法替代的。[信息与计算科学]专业是以信息领域为背景用将迈向的数学与信息,管理相结合的交叉学科更深入和专业。所以你只需要查查有哪些大学开设了[统计学]、[信息与计算科学]这两个专业就行。
那么多情
大数据专业主要是数据开发和分析,建议本科毕业就读,月薪15K-20K!大数据学习内容主要有:①JavaSE核心技术;②Hadoop平台核心技术、Hive开发、HBase开发;③Spark相关技术、Scala基本编程;④掌握Python基本使用、核心库的使用、Python爬虫、简单数据分析;理解Python机器学习;⑤大数据项目开发实战,大数据系统管理优化等。
你忘了是吗
大数据是新兴专业16年只有北大,中南,对外经贸三所学校有大数据科学与技术专业,17年有人大,北邮,复旦,华东师大,复旦,电子科大等32所高校开设,名单如下:
1、中国人民大学
中国人民大学(Renmin University of China),简称“人大” ,由教育部直属 ,教育部与北京市共建,中央直管副部级建制,位列“双一流” 、“211工程”、“985工程”,入选“111计划”、“2011计划”、“卓越法律人才教育培养计划”、“卓越农林人才教育培养计划”、“海外高层次人才引进计划”、“中国政府奖学金来华留学生接收院校”,为世界大学联盟、亚太国际教育协会、京港大学联盟成员,是一所以人文社会科学为主的综合性研究型全国重点大学。
2、北京邮电大学
北京邮电大学(Beijing University of Posts and Telecommunications),简称北邮,是中华人民共和国教育部直属,工业和信息化部共建的一所以信息科技为特色,工学门类为主体,管理学、文学、理学等多个学科门类协调发展的全国重点大学,是北京高科大学联盟成员高校 、国家首批“双一流”世界一流学科建设高校 、中国政府奖学金来华留学生接收院校。系国家“211工程”、“985工程优势学科创新平台”项目重点建设,首批“卓越工程师教育培养计划”、“111计划”、''两电一邮''成员之一,被誉为“中国信息科技人才的摇篮”。
3、复旦大学
复旦大学(Fudan University),简称“复旦”,位于中国上海,由中华人民共和国教育部直属,中央直管副部级建制,国家双一流(A类)、985工程、211工程建设高校,入选“珠峰计划”、“111计划”、“2011计划”、“卓越医生教育培养计划”,为“九校联盟”(C9)、中国大学校长联谊会、东亚研究型大学协会、环太平洋大学协会的重要成员,是一所世界知名、国内顶尖的全国重点大学。
4、华东师范大学
华东师范大学(East China Normal University),简称“华东师大”,位于中国上海,由中华人民共和国教育部直属,位列世界一流大学建设高校、“985工程”、“211工程”,入选国家“2011计划”、“111计划”和“国家建设高水平大学公派研究生项目”,“长三角高校合作联盟”、“金砖国家大学联盟”、“亚太高校书院联盟”、“中日人文交流大学联盟”成员,设有研究生院和国家大学科技园,是教育部、上海市人民政府和国家海洋局共建的全国重点大学。
5、电子科技大学
电子科技大学(University of Electronic Science and Technology of China)简称“电子科大”,坐落于四川省省会成都,直属于中华人民共和国教育部,由教育部、工业和信息化部、四川省和成都市共建,位列首批“双一流”A类、“985工程”、“211工程”,入选国家“2011计划”、“111计划”、“卓越工程师教育培养计划”,两电一邮成员。是一所完整覆盖整个电子类学科,以电子信息科学技术为核心,以工为主,理工渗透,理、工、管、文、医协调发展的多科性研究型全国重点大学,被誉为“中国电子类院校的排头兵”。
6、北京信息科技大学
北京信息科技大学(Beijing Information Science and Technology University),简称信息科大,坐落在中国首都北京,是一所以工学为主,工、管、理、经、文、法6个学科门类协调发展的北京市重点支持建设高校;入选国家“卓越工程师教育培养计划”、“111计划”和首批北京市深化创新创业教育改革示范高校,是“一带一路”中波大学联盟首批成员。北京信息科技大学由原机械部所属的北京机械工业学院和原电子部所属的北京信息工程学院于2008年合并组建,办学历史可追溯到20世纪30年代。
7、中北大学
中山大学(Sun Yat-sen University, SYSU),简称“中大”,由孙中山先生创办,有着一百多年办学传统,是中国南方科学研究、文化学术与人才培养的重镇。
中山大学是教育部、国家国防科技工业局和广东省共建的全国重点大学,是国家“双一流”A类、“985工程”、“211工程”重点建设高校,同时也是“珠峰计划”、“111计划”、“卓越法律人才教育培养计划”、“卓越医生教育培养计划”实施高校。中山大学已经成为一所国内一流、国际知名的现代综合性大学,正努力成为全球学术重镇
8、晋中学院
晋中学院(Jinzhong University) 坐落于三晋腹地、晋商故里——晋中市榆次区,晋中学院的前身为始建于1958年的晋中师范专科学校,2004年5月经国家教育部批准,在原晋中师范高等专科学校、晋中教育学院、晋中职工大学三校合并的基础上建立山西省省属全日制多科性本科院校。
9、长春理工大学
长春理工大学(Changchun University of Science and Technology),由吉林省人民政府、国家国防科技工业局、长春市人民政府共建,中国兵器协同创新联盟单位,入选国家“中西部高校基础能力建设工程”、“卓越工程师教育培养计划”,入选“111计划”,入选教育部“卓越工程师教育培养计划”,入选国家“新工科研究与实践项目”。是一所以光电技术为特色,光、机、电、算、材相结合为优势,以工为主,工、理、文、经、管、法、艺多学科协调发展的吉林省省属重点大学,享有“中国光学英才摇篮”的美誉。
10、上海工程技术大学
上海工程技术大学(Shanghai University Of Engineering Science),简称”工程大“,教育部“卓越工程师教育培养计划”首批61所试点高校之一,全国12所“卓越工程师计划””试点工作示范性高校之一,全国首批“卓越工程师教育培养计划”入选高校之一,全国地方高校新工科建设的牵头单位,是一所拥有工学、理学、管理学、文学、经济学、艺术学等学科门类,工程技术、经济管理、艺术设计等多学科互相渗透、协调发展的上海市属大学。
大数据相关人才目前国内供不应求,从90年代起一些发达国家开始大量培养数据分析师,一直到现在需求仍然长盛不衰,可见它的发展空间,现在企业市场决策和经营决策不会盲目或个人主管去确定,而都是通过数据分析研究确定的,用数据去说话,更科学。
专业名称叫做计算机科学与技术专业(数据科学与大数据技术方向)
该专业的主要课程是C程序设计、数据结构、数据库原理与应用、计算机操作系统、计算机网络、Java语言程序设计、Python语言程序设计,大数据算法、人工智能、应用统计(统计学)、大数据机器学习、数据建模、大数据平台核心技术、大数据分析与处理,大数据管理、大数据实践等课程。
参考资料:百度百科-数据科学与大数据技术专业
得志秋
1、数据科学与大数bai据技术
本科专业,du简称数据科学或大数据。
学制四年,zhi授予工学学位或理学学位。
旨在培dao养具有大数据思维、运用大数据思维及分析应用技术的高层次大数据人才。
2、大数据技术与应用
高职院校专业。
学制四年,授予工学学位或理学学位。
旨在培养学生系统掌握数据管理及数据挖掘方法,成为具备大数据分析处理、数据仓库管理、大数据平台综合部署、大数据平台应用软件开发和数据产品的可视化展现与分析能力的高级专业大数据技术人才。
情思的信
一、课程内容教学不同的培训机构来说,根据注重的点不同大数据课程内容也有所差异,培训周期也都不大相同。课程内容除开第一阶段学习Java语言基础之外,还要学习HTML、CSS、Java、JavaWeb和数据库、Linux基础、Hadoop生态体系、Spark生态体系等课程内容。二、基础内容学习对于初学大数据的同学来说尤其是零基础的,感觉大数据比较复杂比较难,很难记住。但是对于大数据学习者而言,对于学员的逻辑思维能力要求较高。三、项目实战训练参加大数据培训学习还有一项内容是必须要注意的,那就是课程内容安排上必须要有大数据开发相关的项目,项目练习是学习的核心,在这个过程中可以让我们更加了解项目制作流程,积累一定的经验,在后边的工作面授中也能应答自如。
优质工程师报名问答知识库