回答数
6
浏览数
10296
给过温暖的怀抱
成为一名合格的开发工程师不是一件简单的事情,需要掌握从开发到调试到优化等一系列能力,这些能力中的每一项掌握起来都需要足够的努力和经验。而要成为一名合格的机器学习算法工程师(以下简称算法工程师)更是难上加难,因为在掌握工程师的通用技能以外,还需要掌握一张不算小的机器学习算法知识网络。
下面我们就将成为一名合格的算法工程师所需的技能进行拆分,一起来看一下究竟需要掌握哪些技能才能算是一名合格的算法工程师。
1.基础开发能力
所谓算法工程师,首先需要是一名工程师,那么就要掌握所有开发工程师都需要掌握的一些能力。
有些同学对于这一点存在一些误解,认为所谓算法工程师就只需要思考和设计算法,不用在乎这些算法如何实现,而且会有人帮你来实现你想出来的算法方案。这种思想是错误的,在大多数企业的大多数职位中,算法工程师需要负责从算法设计到算法实现再到算法上线这一个全流程的工作。
笔者曾经见过一些企业实行过算法设计与算法实现相分离的组织架构,但是在这种架构下,说不清楚谁该为算法效果负责,算法设计者和算法开发者都有一肚子的苦水,具体原因不在本文的讨论范畴中,但希望大家记住的是,基础的开发技能是所有算法工程师都需要掌握的。
2.概率和统计基础
概率和统计可以说是机器学习领域的基石之一,从某个角度来看,机器学习可以看做是建立在概率思维之上的一种对不确定世界的系统性思考和认知方式。学会用概率的视角看待问题,用概率的语言描述问题,是深入理解和熟练运用机器学习技术的最重要基础之一。
概率论内容很多,但都是以具体的一个个分布为具体表现载体体现出来的,所以学好常用的概率分布及其各种性质对于学好概率非常重要。
对于离散数据,伯努利分布、二项分布、多项分布、Beta分布、狄里克莱分布以及泊松分布都是需要理解掌握的内容;
对于离线数据,高斯分布和指数分布族是比较重要的分布。这些分布贯穿着机器学习的各种模型之中,也存在于互联网和真实世界的各种数据之中,理解了数据的分布,才能知道该对它们做什么样的处理。
此外,假设检验的相关理论也需要掌握。在这个所谓的大数据时代,最能人的大概就是数据了,掌握了假设检验和置信区间等相关理论,才能具备分辨数据结论真伪的能力。例如两组数据是否真的存在差异,上线一个策略之后指标是否真的有提升等等。这种问题在实际工作中非常常见,不掌握相关能力的话相当于就是大数据时代的睁眼瞎。
在统计方面,一些常用的参数估计方法也需要掌握,典型的如最大似然估计、最大后验估计、EM算法等。这些理论和最优化理论一样,都是可以应用于所有模型的理论,是基础中的基础。
3.机器学习理论
虽然现在开箱即用的开源工具包越来越多,但并不意味着算法工程师就可以忽略机器学习基础理论的学习和掌握。这样做主要有两方面的意义:
掌握理论才能对各种工具、技巧灵活应用,而不是只会照搬套用。只有在这个基础上才能够真正具备搭建一套机器学习系统的能力,并对其进行持续优化。否则只能算是机器学习搬砖工人,算不得合格的工程师。出了问题也不会解决,更谈不上对系统做优化。
学习机器学习的基础理论的目的不仅仅是学会如何构建机器学习系统,更重要的是,这些基础理论里面体现的是一套思想和思维模式,其内涵包括概率性思维、矩阵化思维、最优化思维等多个子领域,这一套思维模式对于在当今这个大数据时代做数据的处理、分析和建模是非常有帮助的。如果你脑子里没有这套思维,面对大数据环境还在用老一套非概率的、标量式的思维去思考问题,那么思考的效率和深度都会非常受限。
机器学习的理论内涵和外延非常之广,绝非一篇文章可以穷尽,所以在这里我列举了一些比较核心,同时对于实际工作比较有帮助的内容进行介绍,大家可在掌握了这些基础内容之后,再不断探索学习。
4.开发语言和开发工具
掌握了足够的理论知识,还需要足够的工具来将这些理论落地,这部分我们介绍一些常用的语言和工具。
5.架构设计
最后我们花一些篇幅来谈一下机器学习系统的架构设计。
所谓机器学习系统的架构,指的是一套能够支持机器学习训练、预测、服务稳定高效运行的整体系统以及他们之间的关系。
在业务规模和复杂度发展到一定程度的时候,机器学习一定会走向系统化、平台化这个方向。这个时候就需要根据业务特点以及机器学习本身的特点来设计一套整体架构,这里面包括上游数据仓库和数据流的架构设计,以及模型训练的架构,还有线上服务的架构等等。这一套架构的学习就不像前面的内容那么简单了,没有太多现成教材可以学习,更多的是在大量实践的基础上进行抽象总结,对当前系统不断进行演化和改进。但这无疑是算法工程师职业道路上最值得为之奋斗的工作。在这里能给的建议就是多实践,多总结,多抽象,多迭代。
6.机器学习算法工程师领域现状
现在可以说是机器学习算法工程师最好的时代,各行各业对这类人才的需求都非常旺盛。典型的包括以下一些细分行业:
推荐系统。推荐系统解决的是海量数据场景下信息高效匹配分发的问题,在这个过程中,无论是候选集召回,还是结果排序,以及用户画像等等方面,机器学习都起着重要的作用。
广告系统。广告系统和推荐系统有很多类似的地方,但也有着很显著的差异,需要在考虑平台和用户之外同时考虑广告主的利益,两方变成了三方,使得一些问题变复杂了很多。它在对机器学习的利用方面也和推荐类似。
搜索系统。搜索系统的很多基础建设和上层排序方面都大量使用了机器学习技术,而且在很多网站和App中,搜索都是非常重要的流量入口,机器学习对搜索系统的优化会直接影响到整个网站的效率。
风控系统。风控,尤其是互联网金融风控是近年来兴起的机器学习的又一重要战场。不夸张地说,运用机器学习的能力可以很大程度上决定一家互联网金融企业的风控能力,而风控能力本身又是这些企业业务保障的核心竞争力,这其中的关系大家可以感受一下。
但是所谓“工资越高,责任越大”,企业对于算法工程师的要求也在逐渐提高。整体来说,一名高级别的算法工程师应该能够处理“数据获取数据分析模型训练调优模型上线”这一完整流程,并对流程中的各种环节做不断优化。一名工程师入门时可能会从上面流程中的某一个环节做起,不断扩大自己的能力范围。
除了上面列出的领域以外,还有很多传统行业也在不断挖掘机器学习解决传统问题的能力,行业的未来可谓潜力巨大。
深居我心你可曾知
程序员一枚,从周围同事的情况来看,程序员这行对专业的要求没有想象中那么高,但是也有迹可循。
一:软件工程计算机科学与技术
这两个专业几乎是为程序员量身定做的,在大学时代就能接触到非常多如编程语言、计算机原理(计算机组成原理、操作系统、计算机网络等)、数据结构算法等与编程密切相关的课程,而且大多为必修课。这些课程学好了以后,大多数同学都还是可以收获一份比较满意的程序员工作的。
二:网络工程信息安全
这些专业也属于计算机大类目下,对比软件工程等会更侧重在网络安全上,当然编程语言、算法、计算机基础也都是这些专业比较重要的课程,对于应届生来说这些都是成功应聘程序员岗位重要的基础知识。
三:物联网电子与计算机工程
这部分专业在大学期间学习的内容不局限在软件本身,除了常见的C汇编语言外,也有很多电子信息硬件等相关知识。在找工作时候,这些硬件知识对应的原理如果掌握的较好,也会起到一定帮助;当然,这也建议你在大学期间花费更多的经历去了解算法和数据结构等软件知识,能够起到不小帮助。
四:人工智能区块链
这些都是新兴的专业,侧重在包括AI、区块链等新一代互联网技术上,除了上面提到的基础知识外,这些特定的技术在面对对口岗位(如策略算法工程师等)有非常大的竞争优势。
总结一下,对口程序员的专业主要集中在大类“0809计算机类”与“0807电子信息类”下,可以多关注这些专业内容。当然,我的同事中也不乏英语、物理、数学等专业毕业的,其实无论在大学选择了什么专业,只要能够定向的学习计算机语言,学些基础知识,都还是有机会成为一名合格的程序员的。
弯弓大雕
想当程序员可以学这两个专业:
1、软件工程
软件工程专业以计算机科学与技术学科为基础,强调软件开发的工程性,使学生在掌握计算机科学与技术方面知识和技能的基础上熟练掌握从事软件需求分析、软件设计、软件测试、软件维护和软件项目管理等工作所必需的基础知识、基本方法和基本技能,突出对学生专业知识和专业技能的培养,培养能够从事软件开发、测试、维护和软件项目管理的高级专门人才。
2、计算机科学与技术
计算机科学与技术专业主要培养具有良好的科学素养,系统地、较好地掌握计算机科学与技术包括计算机硬件、软件与应用的基本理论、基本知识和基本技能与方法,能在科研部门、教育单位、企业、事业、技术和行政管理部门等单位从事计算机教学、科学研究和应用的计算机科学与技术学科的高级科学技术人才。
选了这两个专业,会在大学中学习到c语言,c++,java,javaweb等等一系列编程语言,要注意的是,大学里一般一个学期结束一门语言课程的学习,进度会非常快,课程安排量也不会太充足,想要学好,还得靠自己课下努力才行,至少得掌握一门自己拿手的语言。
当程序员需要具备的能力
1、编程语言能力
作为合格的计算机程序员,精通一门语言是必须的。这种精通,不是说看了一本编程宝典,抄了几个程序就能说精通的,要靠长时间的积累。
2、编码能力
遵守编码规范,是一个程序员最基本的要求。另外一个就是注释,要注意不是为了注释而注释。对类,以说明职责为主;对方法,以说明意图为主;对方法体,以说明实现思路为主。对于大段大段的代码,要分段,使用空行隔开,并使用行内注释进行说明。
3、面向对象思维能力
多数编程语言都是面向对象的编程语言。而这些面向对象编程语言的共同精髓就是面向对象的思想。掌握这些比面向对象语言本身更重要,比如对继承,多态,重载的理解。对面向对象基本原则的理解,比如开闭原则,接口隔离原则,单一职责原则等。在此基础上,应该掌握常用的设计模式,比如工厂模式,策略模式,观察者模式,模板方法模式,命令模式等等。
心空了再爱难了
软件工程包括开发和测试两大部分,主要面向于软件的开发和相应服务的提供,相对来说就业人数最多的方向,高级职位一般为系统架构师和分析师或其他同级职位。网络工程主要面向系统工程和网络工程行业的,立足于物理网络环境的规划、建设、维护及优化等等,高级职位为网络规划师,网络分析师或同级职位。信息管理主要面向数据服务方向,通常关注大数据的存储,检索等方面,高级职位应是信息系统分析师,或同级职位。多媒体设计UI设计、Unity 3D游戏设计等等,原则上你可以理解为一群和IT紧密相连的艺术家。相对来说,软件工程岗位在IT行业中,不仅薪水高,而且前景会更好,可以考虑下。
我们拥抱着就能取暖
程序员需要学习的专业
1、人工智能方向所选专业:计算机科学与技术、自动化(研究生阶段叫控制科学与工程)、软件工程推荐高校:北京大学、清华大学、复旦大学、北京航空航天大学、哈尔滨工业大学、上海交通大学、华中科技大学、南京大学、东南大学等。
2、网络空间安全方向所选专业:网络空间安全专业推荐高校:北京邮电大学、四川大学、中国科学院大学、山东大学等就业前景:网络空间是与陆、海、空、天并列的第五大主权空间,网络空间安全已经成为全球性的挑战。本专业是研究网络空间中的安全威胁和防护问题,为实施国家安全战略,加快网络空间安全高层次人才培养设立。国家相当重视并大力扶持此专业的发展;其次,如今社会上对网络空间安全十分重视,而且和大数据、人工智能等联系紧密,就业面非常广,而且人才缺口巨大。网络空间安全毕业生能够从事网络空间安全领域的科学研究、技术开发与运维、安全管理等方面的工作。
3、云计算方向所选专业:软件工程专业、计算机科学与技术推荐高校:北京航空航天大学、北京大学、清华大学、国防科技大学、哈尔滨工业大学、上海交通大学、华中科技大学、电子科技大学等就业前景:云计算,可以简单理解为资源共享池,就是把数据、软件、服务等,放到“特定的地方”就是云,我们常用的百度云盘,就是云的一种——公有云。云计算产业已覆盖政府、金融、交通、企业、教育、医疗、信息消费等各领域,并且与通信、物联网、互联网产业相融合。预计云计算行业规模近两年有望达到3834亿美元,今后5年内,云计算人才缺口将超过130万,就业前景广阔。就业方向:Linux运维工程师、Linux高级架构师、运维开发工程师、数据库管理员、云计算架构师等。
4、大数据所选专业:数据科学与大数据技术、计算机科学与技术、软件工程、经济学推荐高校:北京大学、清华大学、对外经济贸易大学、中南大学、中国人民大学、北京邮电大学、复旦大学、浙江大学、东南大学、上海交通大学等就业前景:大数据是近年来最受关注之一的技术,大部分的互联网企业都离不开大数据相关岗位的人才。从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。根据最新的大数据人才报告显示,未来3-5年大数据人才预估缺口高达150万,就业前景也很好。就业方向:大数据系统研发类、大数据应用开发类和大数据分析类等。相关的工作岗位:ETL研发、Hadoop开发、可视化(前端展现)工具开发、信息架构开发、数据仓库研究、OLAP开发、数据预测(数据挖掘)分析、企业数据管理、数据安全研究、数据科学研究等。