20201213

大数据 | 大数据基础--系统之推文规划

亲爱的读者朋友大家晚上好，上次我们介绍了规划中大数据算法的最后一个算法\(List\ Ranking\)。从今天开始，每周一晚上我将会对大数据系统做简单介绍和分析。与上一个部分不同，大数据系统中没有非常硬核的算法和推导，但是有着非常多的概念和应用背景以及应用意义，且内容极多。小编在这里与大家分享的也只是诸多系统知识中的凤毛麟角。尽管如此，还是希望接下来我所介绍的内容会对大家的学习工作有所帮助~~。废话不多说，这次就先来把提纲梳理一下。

大数据计算系统

这一部分主要是四块：

• 大数据计算系统的概述：大数据计算系统有什么特点呢？由哪些关键的部分构成呢？... ...
• 大数据计算框架：大数据计算系统的核心，为处理各种计算任务提供模板式的接口，编程人员只要按照框架填写相应的函数即可，大大提高了工作的效率；并且在大数据框架中，通过并行极大地加快了程序的执行效率，而这一切对用户都是透明的，足见其便捷与高效。
  • 针对不同的数据类型，又分为不同的计算平台
  • 针对批数据，有批处理计算框架
  • 针对实时数据，有实时处理计算框架
  • 针对图数据，有大图计算框架
  • 在这次总结中，我主要针对上述三种框架进行分析
• 大数据存储系统：大数据计算系统的又一关键部分，高效的存储直接决定了程序能否高效执行，其重要性不言而喻。
• 大数据计算的硬件平台：从理论到实践~~~~

大数据管理系统

• 大数据管理概述：管理数据有什么意义？它有着怎样的发展历史？数据管理都需要做什么工作？... ...
• 数据库管理系统
  • NoSQL
  • NewSQL
  • ... ...

总结

下一次就从“大数据计算系统的概述”开始讲解，敬请期待~