大数据组件

03-11

大数据组件

八股总结 原理剖析 +1

🚀 大数据开发 核心八股

文章梳理大数据核心知识体系：涵盖 HDFS 架构与读写、HA及小文件治理；MapReduce 原理与 Shuffle；Yarn 调度与架构；Spark 组件、RDD/DAG、Stage/Shuffle、调优排错与数据倾斜、Join 策略；Doris 架构与存储；数仓分层建模；Hive 架构与优化。

46

0

0

01-08

求职与面经

Hive 面经复盘 +1

字节 Hive面试核心知识点笔记 📚

本文从字节面试官视角梳理数据开发岗Hive高频考点：Hive定位与Metastore、内部/外部表，分区分桶与视图原理及场景，Join/开窗等SQL实操，性能优化与参数调优，并总结数据倾斜、小文件等常见问题解决思路。

104

0

0

12-06

数据治理

数据治理 Hadoop +1

📁 HDFS 小文件治理

本文聚焦 HDFS 小文件痛点，系统梳理小文件定义、成因与对 NameNode、调度和存储的影响；给出 Spark3 AQE 自动合并、控制 Reduce、源头合并及存量/增量治理方案，并总结生产避坑与常见答疑。

124

0

0

12-02

求职与面经

数据倾斜 面经复盘 +1

🚨 数据倾斜调优 面试题

数据倾斜是 Hive/Spark shuffle 的性能杀手，会导致任务卡顿、超时或 OOM。文章从参数配置、Map/Reduce 阶段实操入手，给出 Map Join、AQE、自适应分区、随机打散、拆分大 Key、替代 distinct 及小文件治理等优化方案。

89

0

0

12-01

大数据组件

Doris 原理剖析

📘 Doris 存储体系与关键技术

本文梳理 Doris 核心底层机制：Segment V2 存储分层与文件格式（数据区/索引区/Footer）、多类索引加速查询；介绍正交 Bitmap 通过分桶并行实现高效去重；并解析 Unique Key+Sequence Column 解决并发更新覆盖与防回退问题。

42

0

0

11-30

大数据组件

Doris 原理剖析

📘 Doris 架构详解

本文概览 Apache Doris 架构与演进：3.0 前 FE/BE 存算一体，FE 负责 SQL 与元数据（Paxos+WAL+Checkpoint），BE 负责列存与向量化执行；3.0 起引入云原生存算分离三层架构，支持对象存储与多租户弹性扩缩容，并解析 Segment、前缀索引及三种数据模型。

217

0

0

11-30

大数据组件

Doris 基础概念

🌟 Doris 基础

文章系统梳理 OLTP 与 OLAP 的定位差异：OLTP 侧重事务一致性与高并发写入，OLAP 面向海量数据分析。进一步介绍 MOLAP/ROLAP/HTAP 三种路线、MPP 并行架构与主流引擎对比，并总结企业从离线数仓到实时数仓再到湖仓一体+AI 的演进趋势。

65

0

0

11-26

大数据组件

MySQL 基础概念

⭐ MySQL

本文总结 MySQL 表设计要点：数值/字符串/时间类型选型原则（金额用 DECIMAL、时间用 DATETIME、字段尽量小）；索引类型与 B+Tree/哈希特性、联合索引最左前缀与前缀索引；utf8mb4 与排序规则推荐；三范式与反范式、命名字段规范、分库分表与生产禁忌，并给出订单系统建表示例。

38

1

0

11-26

大数据组件

Spark 原理剖析

✨Spark 内存模型

文章围绕 Spark Executor 端 JVM 内存展开，介绍堆内/堆外内存作用与内存不足带来的 GC、spill、OOM 风险；对比 1.6 前静态内存（固定比例、易浪费）与 1.6+ 统一内存（动态共享、可互借）机制，并给出常用资源配置与调优参数建议。

79

0

0

11-26

大数据组件

Spark 原理剖析

🔗 Spark 的几种 Join 机制

文章梳理 Spark 在大数据场景下的 5 种 Join 策略：Broadcast Hash、Shuffle Hash、Sort Merge（默认）、Cartesian、Broadcast Nested Loop，并说明 Catalyst 会按数据量、Join 条件与排序情况自动选型及其优缺点与适用场景。

120

0

0

11-26

大数据组件

Spark 原理剖析

🔥 Spark Shuffle

文章系统讲解 Spark Shuffle：其本质是跨节点按 key 重分布并伴随排序、分组与合并，触发宽依赖并决定 Stage 划分。梳理 Hash→Sort→Tungsten 演进，说明读写流程、常见瓶颈（IO/网络/GC/倾斜）及优化手段（预聚合、分区与内存调优等）。

75

0

0

11-25

大数据组件

Spark 原理剖析

🚀 Spark 任务提交流程

梳理 Spark 核心组件与职责，讲清运行模式差异：Driver 位置决定 Client/Cluster；并概述 Standalone 与 YARN（cluster）提交流程及 Master URL 参数。

80

0

0