spark流水线

Spark流水线+Gravitino+Marquez数据血缘采集

•OpenLineage是一个开放标准和框架，用于跨工具、平台和系统捕获数据血缘信息。• 它定义了通用的数据血缘模型和API，允许不同的数据处理工具（如ETL、调度器、数据仓库）以标准化格式生成血缘元数据。• 由Linux基金会托管，社区驱动，支持广泛的集成。