DNB(挪威最大的金融服务集团)的13种最佳大数据挖掘分析工程实践
时间：2023-03-01 18:30:00
DNB挪威最大的金融服务集团被誉为整个地区最值得信赖的金融机构。在原文中，DNB数据工程实践中心团队–客户洞察部运营负责人Saleem Pothiwala，软件工程师Jones Mabea Agwata数据工程师Bikram Rout分享数据转换的最佳实践。
1、背景
在DNB，一般都会致力于实施数据工程最佳实践，以可靠的方式提供干净，可用和准时的数据。我们将其视为客户洞察力和数据分析计划成功的主要标准。我们使用数据来生成报告，见解，大屏，其他下游系统的提要，并提供数据以获取机器学习分析。
数据工程据工程领域BI以及数据仓库的保护伞。
DNB客户关系的运作Saleem Pothiwala
2、方案
在DNB，我们使用 StreamSets 作为数据处理器工具。数据处理器将根据工作负载增加和收缩，并使用数据收集器和转换器为我们提供最好的EtL和ELT功能。当然在集群中也是必不可少的。Control Hub编排一切。
在设计和构建数据管道时，数据工程师有责任考虑广泛的依赖和要求。
这是我们的高级架构图：
