Microsoft Fabric - 尝试一下Data Factory 的Parameterization特性

📅 发布时间:2026/7/17 3:21:24 👁️ 浏览次数:
Microsoft Fabric - 尝试一下Data Factory 的Parameterization特性
1.简单介绍Microsoft Fabric 是微软提供的一个基于Saas的数据平台。当前全球已经70%的财富500强在使用Microsoft Fabric同时有95%的财富500强使用Power BI, Power BI的全球开发人员达到了700万感觉社区挺大的。Data Factory是Microsoft Fabric非常重要的一个模块可以连接到不同数据源通过Copy job, Dataflow, Data Pipeline, Notebook等方式对数据进行提取清洗并加载到特定目标中。这边将尝试一下Data Factory中的Parameterization新特性2.Parameterization2.1 配置Pipeline创建一个Data pipeline用于将数据从一个web url中下载到lakehouse中1) 在Pipeline的Parameters 面板中点击Parameters tab在对应的面板中点击New按钮添加一个Parameter2) 输入Parameter Name, Type, Default value如下图所示3配置Pipeline中的Delete data activity的Souce,Connection - 这边选择的是特定的目标lakehouseFile path - lakehouse中的特定路径4) 点击File path栏对应的输入框在页面右侧会弹出Pipeline expression builder面板5) 在Pipeline expression builder面板中点击Parameters tab然后选择步骤2)中配置好的parameter (这边设定的是datapath)6配置Copy data activity的Destination如下图所示Connection - 配置到特定的lakehouse的连接File path - 也是在Pipeline expression builder面板中进行配置的2.2 运行Pipeline1) 验证Data pipeline之后进行保存然后点击Run按钮启动pipeline2) 点击Run按钮之后在页面右侧会弹出Pipeline run面板如下图所示在这里可以对parameter的值进行设定设定好之后点击OK按钮3) 可以在Output中查看pipeline的运行状态4查看目标lakehouse发现多了一个文件夹data_20250629同时从web下载的内容也保存这个文件夹中了。3.总结本文简单记录了一下Microsoft Fabric Data Factory中Parameterization特性的使用过程。当前随着大语言模型的普及Copilot也可以用来制作Dataflow, Pipeline了。Microsoft Fabric的知识体系很庞大当前更新地比较快后续还需继续跟着微软的老师们学习一下。本文如果哪里有错误麻烦告之谢谢谢谢