北京门头沟区大数据工程师-大数据工程师就业和发展前景
编辑整理：整理来源：360问答，浏览量：53，时间：2022-07-26 10:09:01
大数据工程师，大数据工程师证怎么报考，大数据工程师报考网址
前沿：大数据工程师
目前国内的大数据工程师证书，工信部和中国管理科学研究院都有颁发。
工信部认证的职业人才技能认证证书，证书分为初、中、高级。其中初级证书面向高校人群，也就是即将毕业的一批人；中高级证书面向企业内部大数据岗位人才，即参加了工作，有了几年经验的大数据人才。
中国管理科学研究院的专业人才技能证书，通过相关技能考试即可获得，作为入行的敲门砖，有一定价值。
首先：ETL工程师其实是一个特别简单的岗位。
为什么简单？ETL就是数据仓库项目建设和日常维护中的一种工作，ETL，就是抽取、转换、装载的英文缩写。但是这个现实中都是使用相应工具软件的。至于怎么抽取，怎么转换、怎么装载，都是与具体业务相结合的。
比如：每天晚8点抽取，a+b转换成c，从A设备读出a和b，计算成c之后存到W设备上。这就是ETL要干的事。特别简单。没有技术含量。但是工作量却比较大。但是工作量主要发生在初始阶段，因为日后变成那个自动化的软件执行就没什么工作量了。所以ETL这工作的复杂性在于项目建设阶段，当项目建成就变成自动化的运维了。这样一来ETL工作就不难了。
正因为上面说的，所以ETL工程师的技术性不高，主要的问题在于相关的ETL软件会用。其他的就是业务问题。因为抽取的频率，以及如何抽取是由业务上的要求决定的。甚至如何转换也是业务需要决定的，装载同样依赖业务要求。所以这并不是技术问题。
ETL工程师每天都做什么ETL就业范围广泛，例如：各种大型公司的开发部、研发部、科技部。一线城市，如（北上广深），其次新一线的（北京门头沟区门头沟区、北京门头沟区门头沟区门头沟区、北京门头沟区门头沟区、北京门头沟区门头沟区、北京门头沟区门头沟区、北京门头沟区门头沟区、北京门头沟区门头沟区）等很多ETL工程师的月薪都是过万以上，就算是普通刚入门的菜鸟小白也都是6-9k，工作内容分为：（数据整合、数据存储管理、数据挖掘设计、多维分析展现）
ETL工程师的岗位职责
海量数据的ETL开发参与数据仓库架构的设计与开发参与数据仓库ETL流程优化及解决ETL相关技术问题熟悉主流数据库技术，如：oracle、DB2、SQL sever等精通ETL架构、有一定的ETL开发经验，了解日常作业的部署和调度熟悉ETL企业级开发工具和应用，如：Kettle、TASKCTL、海豚调度、XXL-job等ETL工具种类现在ETL工具级软禁啊网上开源或商用付费版的同类工具有很多。
免费（开源）项目级工具
Kettle，xxl-job，oozie，Azkaban，TASKCTL，DolphinScheduler（海豚调度）等；
企业级应用工具平台
TASKCTL，Moia Comtrol，Comtrol-m等;
关于你怎么办找一个简单的项目经验包装一下自己；其次关于ETL软件现在实际上市面上可以下载到的试用版，你随便找一种能找到的就行。在这里个人比较推荐小白可以先以 “TASKCTL或海豚调度”这2款工具作为入门学习了解;
理由：以上2款工具是一个开放的调度平台，尤其是企业级应用的 TASKCTL，为了适应诸如Datastage、Informatic、kettle、一体机、大数据、存储过程、java以及各种脚本任务程序的支持与扩展，同时保证不同任务类型的应用统一。TASKCTL对作业的控制采用插件驱动机制，从而实现不同技术平台、不同作业类型调度控制，很多金融、零售、制造、物流等近1000家头部公司都在使用该产品的 TASKCTL商业版，其中免费版为了迎合中小企业以及个人项目级学习的需要横向扩展的一款轻量级调度工具；
如何转型自学ETL有编程基础的学生&在职人员
熟悉sql语言；会简单脚本（shell）编程，会使用一种ETL数据抽取工具(kettle)；会使用一种ETL作业自动化排程工具(taskctl)；熟练使用增删改查、会添加主键索引，熟练使用时间格式转换，会行转列列转行，会update数据更新，会写sql存储过程。
安装数据库工具
常用的关系型数据库语言都要会，包括mysql,sqlserver,oracle，db2数据库。所以学习sql需要第一步要安装数据库，及数据库管理工具(关于数据库管理工具这里建议使用navicat)
mysql安装包：Mysql8.0安装教程
安装包:https://pan.baidu.com/s/1Vwlsc7BF3MJd3SYsyLeKhw （提取码:886p）
oracle安装包:https://pan.baidu.com/s/12oDFAmqFH--6VXmo1dQZ5g （提取码:25p6）
navicat安装包：Navicat Premium 15.0安装教程
oracle数据库在使用时需要安装jdk，jdk链接:https://pan.baidu.com/s/1-B-r7ZED09T9TLOAvk6RBQ （提取码:3ss8）
jdk安装后需要配置环境变量：JDK安装与环境变量配置
软件安装好后，就用navicat链接这3个数据库。
SQL需要学习sql学习先了解基本的查询语言，进一步提升需要结合kettle进行学习
第一步学习sql查询语言，对数据库有大概的了解。
推荐mysql-3小时入门视频：https://www.bilibili.com/video/BV177411U7Yr/
SQL配套练习1：https://blog.csdn.net/mrbcy/article/details/68965271
SQL配套练习2：https://blog.csdn.net/flycat296/article/details/63681089
ETL数据抽取工具（kettle）及作业排程工具（TASKCTL）的使用
掌握ETL增量、全量、插入更新等抽取方式；能集成excel，数据库，web接口，hive，spark等数据源；
这里推荐大家学习 TASKCTL安装入门简单。结合Kettle也是永久免费的。
TASKCTL安装包：http://www.taskctl.com
TASKCTL学习视频：https://www.bilibili.com/video/BV1jz4y1y7nL
shell编程
能写简单的shell脚本，比如通过1个shell脚本将5张表导入到目标库中。
shell视频：https://www.bilibili.com/video/av31981602?p=15
最后ETL工程师会发现有很多岗位，所以我们学习之后不会存在找不到工作的情况。进一步提升可以往大数据工程，数据产品经理，或者大数据产品经理发展。
转行到etl开发后，建议先用半年努力学习公司所需要的知识和技术，熟悉公司业务后、从第7个月开始学习大数据相关组件，学习半年后在投递大数据工程师相关岗位。
最后关于etl转行说下学习成本。etl开发学习成本真的很低很低，基本上自学1个月就可以开始找工作，而我们学习后跟 java开发、跟数据分析工作基本上是一样的。
与数据分析相比，市场需求更多，学历门槛更低。最后一起努力吧。
补充拓展：大数据工程师
软件工程师是IT领域的重要岗位之一，随着IT行业多年的发展，软件工程师也有很多细分的方向，比如Web方向、大数据方向、物联网方向、云计算方向、人工智能方向、区块链方向等等，不同方向的软件工程师需要具备的知识结构也会有所区别。另外，不同行业(金融、教育、通信、医疗)的软件工程师往往在知识结构上也有所区别。