个人简历 个人信息 姓名：尹开英 性别：男 出生：1991.5 学历：统招本科

一、Hadoop 到 Spark 的变化 Spark 运算比 Hadoop 的 MapReduce 框架快的原因是因为 Hadoop 在一次 MapReduce 运算之后,会将数据的运算结果从内存写入到磁盘中,第二次 Mapredue 运算时在从磁盘中读取数据,所以其瓶颈在2次运算间的多余 IO 消

1.[Hive]统计用户月访问量 统计每个用户 [月总访问次数]，和 [从1月累计到当前月的总访问次数] uid,date,vcnt u01,2023-01-01,5 u02,2023-01-02,6 u02,2023-01-03,7 u02,2023-02-04,8 u03,2023-0

1、Spark宽窄依赖 窄依赖(Narrow Dependency): 指父RDD的每个分区只被子RDD的一个分区所使用。例如map、filter等这些算子的一个RDD，对它的父RDD只有简单的一对一的关系，RDD的每个partition仅仅依赖于父RDD 中的一个partition，父RDD和子R