大数据之每日快照合成拉链表
我们有很多业务表只有最新记录没有历史信息无法使用增量加载的方式否则最明显的问题就是业务系统删除了的记录数据中台无法识别出来。所以我们的办法是从业务平台每日加载一个快照然后与目标表合成拉链表。所以逻辑很简单1、每日从源系统加载一个快照-- slctColumst.id, t.val1, t.col2, ... t.create_time, t.update_timeselect$slctColumsfrom${SRC_DB}.v_${tableName} t2、把数据加载到hive表中如ods_table_snapshot3、合并数据到拉链表中初次加载insertoverwritetabledwd_zip_tableSELECT${slctColums},t.create_timeASvalid_from,TO_DATE(9999-12-31)asvalid_toFROMods_table_snapshotASt每日加载insertoverwritetabledwd_zip_table--现有过时数据删除的数据SELECT${slctColums},valid_from,casewhent.valid_toto_date(9999-12-31)ANDb.idISNOTNULLandt.update_time!b.update_timethenb.update_time--更新了的数据原记录变旧数据 t.update_time ! b.update_time防止重复合并whent.valid_toto_date(9999-12-31)ANDb.idISNULLthendate_add(${bizDate},1)--删除了的elset.valid_to--原旧数据或是未更新的数据endASvalid_toFROMdwd_zip_table tleftJOINods_table_snapshotASbONt.idb.idUNIONall--- 更新后和新增记录SELECT${slctColums},t.update_timeASvalid_from,TO_DATE(9999-12-31)asvalid_toFROMods_table_snapshotAStWHERENOTEXISTS(SELECT1FROMdwd_zip_table bWHEREt.idb.idandb.update_timet.update_time)---参考流程图如下
