Amazon S3 Tables 支持全部 Apache Iceberg V3 数据类型
Amazon S3 Tables 现已支持 Apache Iceberg V3 规范中的全部数据类型,包括 variant、纳秒时间戳、geometry、geography 和 unknown,同时支持删除向量与行级血缘。
推荐理由:S3 Tables 补齐 Iceberg V3 全部数据类型,并给出 V2 原地升级路径与引擎版本要求。
数据处理与工程实践:数据管道、流处理、OLAP/OLTP 引擎、数据湖仓与 ETL 工具链动态。
Amazon S3 Tables 现已支持 Apache Iceberg V3 规范中的全部数据类型,包括 variant、纳秒时间戳、geometry、geography 和 unknown,同时支持删除向量与行级血缘。
推荐理由:S3 Tables 补齐 Iceberg V3 全部数据类型,并给出 V2 原地升级路径与引擎版本要求。
Amazon Aurora PostgreSQL 新增直接查询数据湖中 Apache Iceberg 和 Parquet 数据的能力,无需再建反向 ETL 管道把历史数据搬进数据库。
推荐理由:Aurora PostgreSQL 内嵌 DuckDB 后可直接查询数据湖,省去反向 ETL 管道的迁移成本。
Microsoft Research 发布 Quine,一个面向生物学复杂性的 AI 研究系统,由跨序列、结构、功能、细胞状态和成像等多模态数据训练的世界模型与连接科学工具、文献、湿实验和研究者的交互框架组成。
推荐理由:微软研究院公开面向生物学的多模态世界模型 Quine,并给出胰腺癌化合物筛选的湿实验验证结果。
AWS 已签署最终协议收购总部位于阿姆斯特丹的 DuckLabs,即开源分析数据库 DuckDB 背后的公司。DuckDB 将继续在独立基金会下以 MIT 许可证开源,AWS 计划逐步把其日常查询速度与 Amazon S3、Redshift、Athena 等企业级服务结合,两位联合创始人 Hannes Mühleisen 和 Mark Raasveldt 将继续负责技术方向。
推荐理由:AWS 收购 DuckDB 背后的 DuckLabs,同时承诺数据库保持开源,可观察云厂商与开源分析引擎的整合路径。
AWS Glue 6.0 正式可用,价格比此前版本降低 30%,并基于 Iceberg 1.11.0 完整实现 Apache Iceberg v3 规范。
推荐理由:AWS Glue 6.0 在降价三成的同时升级到 Spark 4.1 并补全 Iceberg v3,可对照现有作业评估迁移成本。