网站建设小组五类成员,wordpress 文章 导航,九号公司,网站响应式和电脑手机#x1f34b;#x1f34b;大数据学习#x1f34b;#x1f34b;
#x1f525;系列专栏#xff1a; #x1f451;哲学语录: 用力所能及#xff0c;改变世界。 #x1f496;如果觉得博主的文章还不错的话#xff0c;请点赞#x1f44d;收藏⭐️留言#x1f4dd;支持一…大数据学习
系列专栏 哲学语录: 用力所能及改变世界。 如果觉得博主的文章还不错的话请点赞收藏⭐️留言支持一下博主哦 一、基础概念与架构设计 什么是数据仓库与数据库的核心区别是什么 核心区别 维度数据库OLTP数据仓库OLAP用途处理实时交易增删改查支持历史数据分析与决策数据模型第三范式避免冗余星型 / 雪花模型允许冗余数据更新实时更新批量加载每日 / 每周查询特点短事务、高并发长查询、复杂分析 答题要点强调数据仓库的主题性、集成性、稳定性、时变性四大特性。 数据仓库分层架构ODS/DWD/DWS/ADS的作用是什么 ODS操作数据层原始数据镜像保持数据原貌。DWD明细数据层清洗去重 / 脱敏、标准化统一字段命名。DWS汇总数据层按主题聚合如用户日活按地域汇总。ADS应用数据层直接服务于业务报表或 API。追问为何需要分层答解耦业务逻辑、避免重复计算、提升可维护性。 星型模型与雪花模型的区别实际场景中如何选择 星型模型事实表直接关联维度表冗余高、查询快适合报表场景。雪花模型维度表进一步规范化冗余低、维护复杂适合 OLAP 分析。案例电商订单分析优先用星型模型因查询性能更重要金融风控数据因合规要求高可用雪花模型。
二、建模与设计实践 如何设计一张事实表 关键步骤 确定业务过程如 “用户下单”。选择粒度如 “每笔订单” 或 “每日订单汇总”。关联维度时间、用户、商品、地域等。确定度量订单金额、数量、折扣等。 示例电商订单事实表粒度为 “单笔订单”维度包括日期、用户 ID、商品 ID度量为实付金额、优惠金额。 缓慢变化维SCD的处理方式有哪些 SCD1覆盖旧值不保留历史如用户最新手机号。SCD2新增记录保留历史如用户地址变更时插入新行。SCD3用字段记录新旧值如 “当前部门” 和 “原部门”。场景用户性别属 SCD1几乎不变职位属 SCD2需追踪变更历史。 拉链表的设计原理与适用场景 原理通过start_date和end_date标记数据有效期每日仅更新变化记录。场景客户信息、产品档案等变更频率低但需保留历史的维度表。示例 SQL -- 插入新记录或更新旧记录状态
INSERT INTO customer_zip
SELECT id, name, address, current_date, 9999-12-31,CASE WHEN old.end_date 9999-12-31 THEN N ELSE Y END
FROM stage_customer sc
LEFT JOIN customer_zip old ON sc.id old.id AND old.end_date 9999-12-31三、ETL 与性能优化 ETL 过程中如何处理缓慢变化维和拉链表 SCD2 处理通过MERGE语句比较源数据与目标表新增记录时标记旧记录end_date。拉链表更新每日扫描变化数据关闭旧记录有效期并插入新记录。 数据仓库中如何优化大表 JOIN 性能 分桶 JOIN在 Hive 中按关联字段分桶CLUSTER BY id使相同 ID 的数据分布在同一节点。小表广播Spark 中使用broadcast将小表分发到所有节点避免 Shufflejoin(broadcast(smallTable))。分区裁剪在 WHERE 条件中添加分区过滤如dt2025-06-12减少扫描数据量。 数据倾斜的常见原因及解决方案 原因某一 Key 数据量过大如订单表中 “未分类” 商品 ID 占比 90%。方案 拆分热点 Key将keyA临时改为keyA_1和keyA_2分散到多个 Task。优化 SQL避免count(distinct)改用group by count后聚合。
四、工具与实战经验 Hive 与 Spark SQL 的性能差异及适用场景 Hive基于 MapReduce适合离线批处理T1 报表吞吐量高但延迟大。Spark SQL内存计算适合实时分析分钟级响应支持流处理Structured Streaming。案例月度财务报表用 Hive用户行为实时分析用 Spark。 如何监控数据仓库任务的健康状态 指标任务耗时波动如超过历史均值 20%、失败重试次数、数据产出延迟。工具用 Airflow 监控 DAG 状态结合 PrometheusGrafana 绘制任务耗时趋势图。 生产环境中数据仓库故障的应急处理流程 根因分析如 HDFS 磁盘故障导致写入失败与预防措施增加磁盘监控告警。临时解决方案如手动重跑任务、使用备份数据。查看日志YARN 任务日志、ETL 脚本输出定位错误。确认故障范围如某张表数据未更新。
五、高级概念与架构演进 湖仓一体Lakehouse与传统数据仓库的区别 传统数仓数据需提前建模存储与计算耦合如 Hive 表。湖仓一体融合数据湖存储原始数据与数仓结构化分析支持流式写入与 SQL 查询如 Delta LakeSpark。 实时数据仓库的技术架构如何设计 典型架构 数据源Kafka日志、Canal数据库变更。计算层Flink实时 ETL、Spark Streaming准实时。存储层HBase明细数据、ClickHouse聚合查询。应用层实时报表Superset、实时告警规则引擎。 数据治理在数据仓库中的实践方式 元数据管理用 Atlas 记录表结构、血缘关系如 A 表数据来自 B 表和 C 表的 JOIN。数据质量设置规则如订单金额必须 0失败时触发告警。权限管控通过 Ranger 控制用户对表的读写权限如财务部门只能访问财务相关表。
六、设计思路 如果让你设计一个电商数据仓库你会如何规划主题域 主题域划分用户域用户画像、商品域商品分类、交易域订单 / 支付、营销域活动 / 优惠券。 如何优化数据仓库的存储成本 冷数据分层将 1 年前的数据归档到 HDFS 冷存储层-Ddfs.storage.policyCOLD。压缩与分桶用 ORC 格式比 Parquet 压缩比更高按日期分桶减少扫描范围。 数据仓库中的一致性哈希如何应用 场景分库分表时确保相同用户 ID 路由到同一节点避免跨节点 JOIN如用户行为明细表按 user_id 哈希分桶。
