Spark

大模型框架 44 ETL 1 产品 1 图集 1 数据分析BI 1 数据结构与算法 3 chatGPT 1 Kafka 1 Flink 1 Spark 3 Java 4 Scala 1 Hadoop 2 数据仓库 3 Hive 4

大数据未读

Hadoop和Spark的联系

一、Hadoop 到 Spark 的变化 Spark 运算比 Hadoop 的 MapReduce 框架快的原因是因为 Hadoop 在一次 MapReduce 运算之后,会将数据的运算结果从内存写入到磁盘中,第二次 Mapredue 运算时在从磁盘中读取数据,所以其瓶颈在2次运算间的多余 IO 消

Spark Scala 2023-12-29

默认分类未读

面试-笔试题集锦

1.[Hive]统计用户月访问量统计每个用户 [月总访问次数]，和 [从1月累计到当前月的总访问次数] uid,date,vcnt u01,2023-01-01,5 u02,2023-01-02,6 u02,2023-01-03,7 u02,2023-02-04,8 u03,2023-0

Hive 数据仓库 Spark Java Hadoop 2023-10-16

大数据未读

Spark基础-基础必备

1、Spark宽窄依赖窄依赖(Narrow Dependency): 指父RDD的每个分区只被子RDD的一个分区所使用。例如map、filter等这些算子的一个RDD，对它的父RDD只有简单的一对一的关系，RDD的每个partition仅仅依赖于父RDD 中的一个partition，父RDD和子R

Spark 2023-10-09