Parquet格式演进困境：版本2性能优越，生态兼容性成瓶颈

Parquet格式的演进正面临生态系统碎片化的挑战。尽管新版本（如Version 2）在数据压缩和读写性能上展现出显著提升，但由于缺乏统一的生态系统支持和对核心特性的共识，其普及和应用受到阻碍。新编码方式如RLE_DICTIONARY和DELTA_BYTE_ARRAY，以及Data Page V2的结构优化，虽然能有效减小文件体积并加速处理，但兼容性问题（如Pandas早期版本无法读取Version 2文件）迫使开发者在追求先进性与维持生态兼容性之间进行权衡。

目前，Parquet格式的维护者在定义“核心”特性上已持续数年，显示出行业在标准化进程中的困难。这种不确定性减缓了新功能（如新的逻辑类型和变体类型）的采纳速度。同时，在机器学习等前沿领域，Parquet和ORC格式的局限性催生了Nimble和LV2等新格式的出现，预示着数据存储与处理格式的未来发展方向。尽管如此，Parquet在数据工程领域的主导地位短期内难以动摇。

对Parquet Version 2的性能实测数据显示，相较于Version 1，其在文件大小和读写速度上均有可观的优化。例如，在意大利政府数据集上，UNCOMPRESSED格式的文件体积减小了37%，SNAPPY压缩格式减小了10%；读写速度方面，SNAPPY压缩格式的写操作提升了7%，读操作提升了8%。纽约出租车数据集的优化更为显著，UNCOMPRESSED格式文件体积减小33%，SNAPPY压缩格式读写速度分别提升10%和15%。这些数据表明，Version 2在数据密集型场景下具有显著的性能优势，尤其是在处理大量数值和十进制类型数据时。

尽管Parquet Version 2带来了诸多性能上的改进，但由于生态系统的碎片化和潜在的兼容性风险，其广泛采用仍需时日。对于能够完全控制整个数据处理流程的用户而言，采纳最新规范是明智之举。然而，在与第三方系统集成时，兼容性问题可能抵消性能提升带来的好处。因此，Parquet格式的持续演进依赖于生态系统参与者达成更广泛的共识，以确保标准化的有效实施。

The two versions of Parquet

The adoption of Parquet version 2 is limited due to the lack of support in the ecosystem, which affects its evolution despite its improvements in compression and performance.

Jerónimo LópezJerónimo López