攻克大数据,21世纪最性感工作——资料科学家的八种技能

发布日期: 2020-07-12 13:54:53 阅读量:707

访谈知识

攻克大数据,21世纪最性感工作——资料科学家的八种技能

随着大数据渗透进各行各业,负责淘洗数据、从中精炼价值的资料科学家无疑是这几年最炙手可热的职位,《哈佛商业评论》将之誉为「21 世纪最性感工作」1,因为优异的资料科学家就像独角兽一样珍贵难寻,而且可不是只有科技公司在抢人,传统金融界、零售商、广告、教育,几乎所有产业都需要资料科学家从大量数据中萃取精华。根据去年七月 Indeed.com 的调查,美国资料科学家每年均薪 12.3 万美金 2,比起整体均薪多出 113%——当然,还是比每年平均可以领 74 万美金的 CEO 还少,但也够让 99.99% 的上班族望尘莫及。

攻克大数据,21世纪最性感工作——资料科学家的八种技能
photo credit: bixentro

能领这幺惊人的薪资,资料科学家的本领真的不是三言两语就能讲完。但是到底什幺是资料科学家?顶尖的资料科学家最好统计、数学、程式能力最好都要掌握,而且要能从中洞察意义,并且拥有非凡的直觉,用数据资料发声,帮助公司制定重大决策。但是,其实就算同样都是寻找「资料科学家」,Google 跟沃尔玛超市要的人才,可能非常不一样。别因你好像缺了哪个专长而打退堂鼓,如果仔细阅读每家公司张贴的职缺叙述,你会发现说不定现有的技能就能进入资料科学的殿堂。Airbnb 资料科学家 Dave Holtz 把市场上所需的资料科学家概括成以下四类 3:

四种资料科学家

菜鸟资料科学家说穿了就是资料分析师

有些公司需要的资料科学家,说白话就是资料分析师,而资料分析师就是菜鸟资料科学家。你的工作包括从 MySQL 萃取数据或是一名 Excel 专家,也许要能绘製基础的数据视觉图表、分析 A/B 测试的结果或者管理公司的 Google Analytics 帐号。这种公司对抱负远大的资料科学家来说,是很不错的练功场所,当你变成老手了,也能开始尝试新事物,扩充技能组合。

来清理我们乱糟糟的数据!

公司发展到了一定规模之后,累积一堆尚未理清的数据,而且持续大幅增加,因此他们会需要一个能够建立资料基本设施的人,以让他们在这个基础上继续成长。由于你是第一个或第一批获聘的资料相关人员,工作通常不会太难,不求统计学家或机器学习专家才能胜任。在这种公司里面,带有软体工程背景的资料科学家就很吃香了,重点任务是提供数据到 production code,关于数据的洞见与分析倒是其次。就像前面说的,你是这家公司的第一个数据探勘者,通常你不会获得太多上层的支援,虽然反而更有机会大放异彩,不过因为比较缺乏真正的挑战,也有可能面临停滞不前的窘境。

我们就是资料,资料就是我们

也有很多公司,主要的产品就是数据。如果你想进入这种公司,那你势必要具备很高深的资料分析或机器学习功力。完美的人选应该是有正规的数学、统计、物理背景,而且有意继续朝学术面钻研。这些资料科学家的主要职责在于研发出色的资料产品,而非解答公司的营运问题。拥有大量消费者数据也以此作为主要营利来源的公司、或者提供基于数据的服务的公司,都归属此类。

产品并非数据、却以数据驱动产品的公司

很多公司都属这种类型。你可能会加入一组已经建立的资料科学家团队,这家公司很重视数据,但称不上一家数据公司。你既要能够进行资料分析、接触 production code、也能将数据视觉化。一般来说,这种公司要的人才要不是通才,就是他们团队缺乏的某种特殊专才,比如资料视觉化或机器学习。想要通过这类公司的考验,端看你对「大数据」工具的熟稔程度,以及过往处理杂乱无章数据的经验。

现在,你了解「资料科学家」的定义很浮动,即使公司开缺都以「资料科学家」为名,但是他们要找的人其实不太一样,不一样的技能组合、不一样专长、不一样的经验层级,却都能够称之「资料科学家」,因此找工作时,务必详读职位描述,搞清楚你会进入什幺样的团队、发展什幺样的技能。

弄清四种资料科学家之后,来看看你的技能最适合从哪种类型的公司下手吧!

攻克大数据,21世纪最性感工作——资料科学家的八种技能
四种资料科学家分别所需的技能
八个资料科学家必备技能

基本工具

无论哪一类公司,统计程式语言如 R 或 Python,以及资料库查询工具像 SQL 大概都是资料科学家必备的常识。

基础统计学

对统计起码要有基本认识,才称得上及格的资料科学家,一名拥有许多面试经验的人资说,很多他曾面试的人连 p-value 的定义都讲得不清不楚。你应该熟悉统计测试、分布、最大似然法则等等。机器学习也很重要,但更关键的能力,是你能否判断不同状况该用什幺不同的技术。统计学适用于所有类型的公司,但对那些主要产品并非数据、却大幅依赖数据的公司来说尤为必备能力,老闆需要的是你能不能利用数据帮助他们进行决策,以及设计、评估实验与结果。

机器学习

假如你是在握有大量资料的大型企业,或是产品本身就是以数据为卖点的公司工作,机器学习就是你用来吃饭的家伙。虽然 KNN 演算法、随机森林、集成学习这类机器学习的流行术语好像不懂不行,不过因为事实上很多技术都可以用 R、Python 程式库解决,所以即使你不是演算法的世界顶尖专家,并不代表就毫无希望。比较重要的是,能够纵观全局,每种状况出现都能找出最契合的技术。

多变量微积分、线性代数

就算你即将面试的公司并未要求机器学习或统计学知识,基础多变量微积分与线性代数问题十之八九都是逃避不了的必考题,因为资料科学就是由这些技术型塑而成。儘管很多事情可以交给 sklearn 或 R 自动执行,但是未来如果公司想要建立自有的方案,这些基本知识就变得很重要了。如果你置身于「数据就是产品」,或者预测绩效仅因小小进步或演算法优化就能带来惊人效益的公司里面,微积分、线性代数等数学概念都需了解通透。

清理数据

Data Munging 是最容易令人不耐的过程,你面对的是乱七八糟的数据。这些数据包含消失的数值、不一致的字串格式、数据格式,必须劳心费神梳理这些庞杂的数据。虽然这工作吃力不讨好,但只要是资料科学家,大概都避免不了,而如果你是某家小公司的先遣资料科学家,或是在一家产品非与数据相关,但是数据却扮演重要角色的公司里工作,清理数据的任务格外重要。

资料视觉化与沟通

把枯燥繁琐的数据转成图像,以及向外界沟通的技能愈来愈重要,尤其是在年轻的公司制定由数据驱动的决策,或者协助其他组织进行数据决策的公司。「沟通」二字的真谛在于,面对技术人或一般人,你都能準确的传达研究发现,并能让他们轻易理解。至于视觉化,如果可以熟悉 ggplot、d3.js 等软体的运用,会有很大的助益,当然工具只是表象,能否参透资料视觉化的原则,才是最需费心的地方。

软体工程

如果你是公司资料科学团队的草创元老,拥有强悍的软体工程背景十分重要,你会负责处理很多资料登录,也有可能需要参与开发以数据为本的产品。

像个数据科学家般思考

所谓资料科学家,就是你解决问题的方法奠基于数据资料。在面试过程中,主考官可能会出一些比较艰涩的问题,比如公司想要执行的某个测试,或者计划开发的数据产品。判断事情的轻重缓急、作为资料科学家如何与工程师和产品经理互动、知道该用什幺方式解决问题,都是你该培养的能力。

  1. Data Scientist: The Sexiest Job of the 21st Century↩
  2. Why Data Scientists Get Paid So Much↩
  3. 8 Skills You Need to Be a Data Scientist↩
欢迎加入「Inside」Line 官方帐号,关注最新创业、科技、网路、工作讯息
攻克大数据,21世纪最性感工作——资料科学家的八种技能
相关文章