课程介绍

数据科学家 Data Scientist

数据科学家在大数据发展中的角色变得日益重要，已经逐步成为大数据领域的核心。数据科学家应该有统计的经验和知识，以及编程，机器学习，数据改写/处理，数据可视化/通信和软件工程的知识。成为一个好的科学家，需要根据数据的重要组成部分，提出正确的问题，并能够分析和解决问题。数据科学家必须使用他们的技能来设计大数据的解决方案，利用各种合适的工具，持续的提供解决方案的深化，变革和升级。

Spark是一个开源的集群计算框架，而相比于Hadoop的MapReduce，它更多的是利用内存中RDD的处理，加快应用程序的性能。执行迭代分析工作，并通过Spark的API，很容易高效的整合各项基于Spark应用。 可以参考 Spark Fundamentals I 和 Spark Fundamentals II课程.

许多应用程序（特别是金融）利用算法来预测未来结果的可能性。数据科学家使用预测建模来创建，测试和验证对于给定的应用程序是摄取该数据的模型。请参考课程 Predictive Modeling Fundamentals I
数据操作是任何人都与大数据工作的一项基本技能。维数降低是无监督机器学习技术，以减少在给定数据集中的特征的数量。 请参考课程 Machine Learning - Dimensionality Reduction
公开提供的信息量成倍增加。通过文本的深层次的分析，可以洞察出令人难以置信的信息！ 请参考课程  Text Analytics Essentials 和 Text mining in action: Analyzing Twitter data for Democratic General Elections)

课程大纲

学习目标

此项目侧重于大数据分析的业务模型的建立，辅以所学习的工具，开发可用的系统。

学习要求

要求：按照Case Study中的Twitter的示例，设计一个针对论坛的分析系统，分析每个人的发帖习惯，包括频率、情绪、原创/跟帖比等。
数据来源：好大学在线可以提供真实的论坛数据。"

考核标准

课件浏览100%,客观练习0%,主观练习0%,课内讨论0%。
课程内容不断迭代，成绩以当时的课程内容为准，一旦合格，可以申请证书。申请证书后，以结课处理，成绩不再改动