12-09 数据治理 数据治理 数仓建模 +1 📚 存储资源治理 本文聚焦数仓存储资源治理:以表元数据与血缘为基石,识别临时/无用/空表;通过Parquet+Snappy、分区生命周期、二级分区拆分及全量改增量降本;以量化指标与打分体系评估,并通过持续监控长期维护。 67 0 0
12-09 数据治理 数据治理 Flink +1 📊 报表治理 文章围绕报表治理展开:针对资源成本失控、无效报表泛滥与查询慢、权限乱等痛点,提出先梳理血缘与使用量、再与业务确认价值,分级下线或优化任务与表,并通过OLAP/预计算/Flink提速,配合权限隔离与定期巡检实现长效治理。 72 0 0
12-08 数据治理 数据治理 实战教程 📚 数据质量治理 文章聚焦数据质量治理实战,围绕基线破线、DQC无效告警与Bug工单三大痛点,给出全链路识别方法与可落地方案,并建立效果评估指标体系,结合阿里、网易案例提升交付准时率与数据可信度。 65 0 0
12-08 数据治理 数据治理 数仓建模 🎯 数据分区与链路场景优化 回顾事实维度与分层体系,聚焦分区优化痛点与原则,给出6种实战拆合分区、视图与拉链表方案,并总结链路设计与DWS取舍,强调上线前预留弹性、减少扫描与小文件,提升下游效率。 52 0 0
12-08 数据治理 数据治理 Spark +1 📊 数据治理之计算资源治理 梳理计算资源治理痛点(延迟、过载、降本、冗余)及小文件、调度错配、DQC浪费等问题;按安全优先推进Spark3升级调优、清理无效规则/任务、优化调度;以成本与交付SLA量化成效,建立周期化治理。 60 0 0
12-08 数据治理 数据治理 数仓建模 ✨ 数据表合规治理 文章围绕数仓数据表“难用、难找、不规范”痛点,系统讲解合规治理:从问题根因与ROI评估出发,提出制定标准、下线废表、公共指标下沉、治理ODS穿透、烟囱表重构五步法,并给出看板考核、长期维护机制与求职量化写法。 63 0 0
12-08 数据治理 数据治理 数仓建模 📌 数据质量 数据质量是数仓生命线。文章从成因与痛点出发,提出上线/变更规范、代码审核、探查比对、DQC监控、基线SLA与问题闭环,推动上下游协同,实现可靠交付。 67 0 0
12-06 数据治理 数据治理 Hadoop +1 📁 HDFS 小文件治理 本文聚焦 HDFS 小文件痛点,系统梳理小文件定义、成因与对 NameNode、调度和存储的影响;给出 Spark3 AQE 自动合并、控制 Reduce、源头合并及存量/增量治理方案,并总结生产避坑与常见答疑。 124 0 0
12-02 求职与面经 面经复盘 数据治理 📊 数据质量 & 数仓业务价值 场景题 文章梳理数据质量长期跟踪体系:从问题盘点、规则管理、DWD明细与ADS汇总建模,到看板展示与监控闭环;并总结数仓对业务的四大价值:增长分析、质量稳定、查数提效与成本优化。 54 0 0