课程介绍

数据工程师 Data Engineer

随着存储和大数据量处理的最新进展，越来越多的金融企业正在广泛使用大数据技术，以获得更深入地了解他们的商业风险和机遇。数据工程师负责开发，维护，测试和评估组织内部的大数据解决方案。因为他们具备Hadoop技术的经验，所以参与大部分解决方案的设计。一个数据工程师应该具备丰富的软件工程经验，然后才能比较顺利的进入大数据领域。一个大数据工程师需要建立大规模的数据处理系统，并且是数据仓库解决方案的专家，应该能够使用最新的NoSQL数据库技术。

通过学习Hadoop的基本面与大数据以及和MPP的概念来快速掌握大数据基本知识 (Hadoop Fundamentals I)
主要的编程范式的MapReduce的最严重的局限性主要与可扩展性，资源利用率，并从不同的MapReduce支持的工作负载。虽然Hadoop的被认为是一个可靠的，可扩展的，具有成本效益的解决方案，它连续被一个大型社区的开发人员提高。现在2.0版本提供了几个革命的功能，包括又一资源协调器. (MapReduce and YARN)
如果您正在使用Hadoop数据仓库Hive工具，它会让查询更容易，比写map / reduce程序更加有效的一个实用工具. (Accessing Hadoop Data Using Hive)
使用Hadoop，并通过shell命令数据交互以及使用像Sqoop和Flume工具. (Moving Data into Hadoop)
为了加强针对MapReduce的不建做分析处理性能，数据工程师可以利用Spark开源处理引擎，提供了内存集群计算。 (Spark Overview for Scala Analytics)

课程大纲

学习目标

一个数据工程师应该具备丰富的软件工程经验，然后才能比较顺利的进入大数据领域。一个大数据工程师需要建立大规模的数据处理系统，并且是数据仓库解决方案的专家。

考核标准

课件浏览100%,客观练习0%,主观练习0%,课内讨论0%。
课程内容不断迭代，成绩以当时的课程内容为准，一旦合格，可以申请证书。申请证书后，以结课处理，成绩不再改动