iLMS知識社群ePortfolioeeClass學習平台空大首頁登入
位置: 吳俊逸 > AI
Data Scientist、Data Analyst、Data Engineer 的区别是什么?
by 吳俊逸 2019-10-13 15:59:00, 回應(0), 人氣(1303)
REF: https://www.zhihu.com/question/23946233

讲讲在Google内部这三个职位的区别:

Google内部有三类技术岗位(job ladder)。问题提到的三个职位分别从属于这三类技术岗位:

  • Data Engineer顾名思义,是软件工程师(software engineer)的一种。
  • 这类工程师做的事情其实非常直白,就是把产品本身产生的原始数据记录进数据库,然后把在数据库里把这些原始数据成表格。举个简单的例子,知乎上每一个用户的行为,包括搜索问题、点击回答、点赞,等等,都需要工程师通过写javascript把这些行为数据存进服务器里,然后存成一个表格记录下来每一天,每一秒,每一个用户做了什么动作。
  • Data Enginner 所做的一切都为了Data Management,具体内容包括数据模型、数据架构、数据标准、元数据、主数据、数据治理、数据管控等等,Data Enginner的目标是把数据整好,存储成本低,查询效率高,至于怎么使用这些数据不是他们关心的范畴。

  • Data Scientist在Google被称作quantitative analyst,翻译过来大概类似于量化分析师。
  • 这类职位比较特殊,是一种非常technical、对学术能力要求非常高的职位。这类职位99%的同事都是统计或者数学的phD,一般人听不懂他们在说什么~ 根据我个人的了解,他们的大部分工作是分析 Google Search的增长。搜索是Google最核心、最赚钱的产品,我们希望更多人用我们的搜索,更多的人能够和搜索结果互动。Data Scientist解决的问题就是,如果我们对搜索的排序做一些改动,如何通过统计学的方法精确测量这个改动对搜索整体带来的影响。这个影响往往是非常小的(Google 1天平均10亿次搜索,这个量级上的任何改动都是至关重要的)。

  • Data Analyst在Google被称作商业分析师(business analyst)或者是产品分析师(product analyst)。
  • 这个职位的作用是沟通产品和商业的桥梁,服务对象一般是产品经理以及高层领导。Data Analyst首先会把工程师维护的数据进行ETL(extract, transform, load),也就是传说中的跑数据(大多用SQL)。随后Data Analyst会把这些提取出的数据转化为“生产力“,也就是能够指导商业或者产品的建议。工作场景:产品经理上线了一款产品,这款产品运行的怎么样?有多少人访问?有多少人购买?购买人数始终上不去是什么原因?如何发掘购买人数降低的原理然后针对这些原因进行有目的的处理?这些都是通过分析产品产生的数据得到的。
  • Data Analyst 所做的一切都是为了回答问题。这些问题可能来自业务部门,也可能来自各级管理人员,有些问题就是想知道某些具体数字,也有些问题是开放式的探索问题,例如为什么这个月销量下降等等。Data Analyst在Data Enginner提供的数据基础之上进行探索分析,如统计分析或机器学习等,目的是找到问题的正确答案。