Fiona и Pyogrio — библиотеки, используемые для чтения и записи форматов пространственных векторных данных. Хотя они имеют некоторые сходства, существуют ключевые различия в их подходах и возможностях:
1. Подход
- Fiona: Fiona — это полнофункциональная библиотека Python для работы с источниками векторных данных OGR. Он использует подход с отслеживанием состояния, при котором данные считываются или записываются за несколько проходов, что обеспечивает большую гибкость и контроль над обработкой данных. Это делает его подходящим для широкого круга задач, включая сложные преобразования данных и инкрементальную запись или добавление[1].- Pyogrio: Pyogrio — это экспериментальный подход, использующий векторизованный (ориентированный на массив) подход для чтения и записи форматов пространственных векторных файлов. Внутри него используется numpy-ориентированный подход в Cython для чтения информации об источниках данных и записях из слоев пространственных данных. Этот подход обеспечивает более быстрые операции ввода-вывода, но может быть менее гибким, чем Fiona, из-за его природы без сохранения состояния, когда все данные считываются или записываются за один проход[1].
2. Поддержка форматов файлов
- Фиона: Фиона поддерживает широкий спектр форматов файлов, включая ESRI Shapefile, GeoPackage, GeoJSON и многие другие. Это библиотека ввода-вывода пространственного формата общего назначения, используемая во многих проектах в экосистеме Python[1].- Pyogrio: Pyogrio специально нацелен на GeoPandas как попытку уменьшить количество преобразований данных, необходимых для чтения/записи данных между GeoDataFrames GeoPandas и пространственными форматами файлов с использованием Fiona. Он поддерживает форматы GeoJSON, GeoPackage и Shapefile, но его основное внимание уделяется операциям ввода-вывода, ориентированным на GeoPandas[1][5].
3. Производительность
- Фиона: Фиона известна своей гибкостью и надежностью, но ее производительность может быть не оптимизирована. Он предназначен для обработки сложных преобразований данных и поддерживает инкрементную запись или добавление.- Pyogrio: Pyogrio предназначен для более быстрых операций ввода-вывода, используя векторизованный подход. Это может привести к значительному повышению производительности по сравнению с Fiona, особенно для больших наборов данных[1].
4. Установка и совместимость
- Фиона: Фиона широко доступна и поддерживает более широкий спектр платформ, включая Windows. Он включен в GeoPandas по умолчанию и может использоваться в качестве механизма для чтения и записи файлов.- Pyogrio: Pyogrio доступен в Conda-forge для Linux и MacOS, но пока не доступен в PyPi из-за сложности упаковки двоичных зависимостей для Windows. Для поддержки необработанного ввода-вывода требуются совместимые версии GDAL и numpy из Conda-forge, а также geopandas, pygeos и их зависимости для поддержки ввода-вывода GeoDataFrame[1].
5. Движок по умолчанию в GeoPandas
- Фиона: Фиона в настоящее время является механизмом по умолчанию, используемым GeoPandas для чтения и записи файлов. Однако GeoPandas 1.0 перейдет на использование Pyogrio в качестве движка по умолчанию из-за его потенциала значительного ускорения[4].Таким образом, Fiona предлагает большую гибкость и контроль над обработкой данных, а Pyogrio оптимизирован для более быстрых операций ввода-вывода. Fiona поддерживает более широкий диапазон форматов файлов и более широко доступна, но Pyogrio разработан специально для операций ввода-вывода, ориентированных на GeoPandas, и может обеспечить повышение производительности.
Цитаты:[1] https://pypi.org/project/pyogrio/0.2.0/
[2] https://github.com/geopandas/geopandas/issues/2908
[3] https://discourse.pangeo.io/t/geopandas-bbox-and-mask-params-return-empty-dataframe-fiona-pyogrio-for-file-geodatabase/3011
[4] https://geopandas.org/en/stable/docs/reference/api/geopandas.read_file.html
[5] https://github.com/geopandas/pyogrio