Jsonnet 在这里提供了一个有效的解决方案。 Jsonnet 是一种开源模板语言，专门用于生成 JSON 数据，特别适合自动化配置文件。 Jsonnet 支持元数据的编程定义和可重用模板的创建。
您可以在此网站上找到有关 Jsonnet 配置语言的更多信息。
Jsonnet允许通过简单清晰的抽象来定义复杂的元数据结构，通过函数和变量避免重复的元素。当需要更改时，可以在一个中心位置进行更改，Jsonnet 会自动更新整个项目中此元数据的所有实例。这不仅消除了冗余，还节省了宝贵的时间并最大限度地减少了出现错误的可能性。
使用 Jsonnet 自动化元数据维护可以帮助数据团队更加专注于优化数 玻利维亚 whatsapp 数据 据处理和分析，而不是迷失在手动元数据维护的深度中。
让我们看一个例子
为了进行说明，让我们创建一个简单的示例。在 JSON 文件中，我们定义了表示 SQL 服务器上的数据库表的 JSON 对象列表，我们将其视为数据管道的数据源。每个数据库表对应一个 JSON 对象，该对象具有以下属性：服务器、数据库、架构、表名和标签。例如，标签可用于开始在 ETL 工具中加载 SQL 表的子集。
在我们的示例中，我们定义了三个表：客户、采购和供应商。
本示例中使用的函数仅代表 Jsonnet 语言函数的一小部分。其他选项包括条件逻辑、模板和自定义函数。
元数据部署工作流程中的 Jsonnet
下图显示了 Azure 上使用 jsonnet 生成元数据的示例部署工作流。
1.用户编辑 .jsonnet 元数据模板（例如：添加新表定义、创建新版本等）
2. Git推送到元数据存储库
3. Azure 管道...
一个。 ...从 .jsonnet 模板创建 .json 文件
b. ...将生成的 .json 文件加载到 Azure Blob 存储中。
4.数据工厂在下一次触发器运行期间访问 Azure Blob 存储中的新版本元数据。
结论
元数据驱动的数据管道无疑有可能彻底改变公司处理数据的方式。它们使开发数据管道变得更容易，但也带来了自己的挑战，因为它们需要一致的元数据。正如这篇博文所示，Jsonnet 为这些挑战提供了有效的解决方案。
您想了解更多关于 adesso 世界中令人兴奋的话题吗？那么请看一下我们之前发布的博客文章。
斯特凡·克伦普瑙尔 (Stefan Klempnauer) 图像
作者 博士。斯特凡·克伦普瑙尔
Stefan Klempnauer 是一名数据和分析顾问，专注于数据平台、云基础设施和人工智能。在 adesso，他在客户项目中设计和实施数据平台解决方案。
类别： 方法论
标签： JSON 数据 数据管理
阿斯达夫
我们的博客文章一览
在我们的技术博客中，我们将带您踏上令人兴奋的 adesso 世界之旅。您可以在我们之前的博客文章中找到其他有趣的主题。
至所有博客文章
阿斯达夫
我们的 adesso 博客时事通讯
您想定期收到我们的 adesso 博客更新吗？然后只需订阅我们的时事通讯，您将通过电子邮件方便地收到我们技术博客的最新文章。