Fiona 및 Pyogrio는 모두 공간 벡터 데이터 형식을 읽고 쓰는 데 사용되는 라이브러리입니다. 몇 가지 유사점을 공유하지만 접근 방식과 기능에는 주요 차이점이 있습니다.
1. 접근 방식
- Fiona: Fiona는 OGR 벡터 데이터 소스 작업을 위한 모든 기능을 갖춘 Python 라이브러리입니다. 일련의 패스를 통해 데이터를 읽거나 쓰는 상태 저장 접근 방식을 사용하므로 데이터 처리에 대한 유연성과 제어력이 향상됩니다. 따라서 복잡한 데이터 변환 및 증분 쓰기 또는 추가를 포함한 광범위한 작업에 적합합니다[1].- Pyogrio: Pyogrio는 공간 벡터 파일 형식을 읽고 쓰기 위해 벡터화된(배열 지향) 접근 방식을 사용하는 실험적인 접근 방식입니다. 내부적으로 Cython의 numpy 중심 접근 방식을 사용하여 공간 데이터 계층에서 데이터 소스 및 레코드에 대한 정보를 읽습니다. 이 접근 방식을 사용하면 I/O 작업 속도가 빨라지지만 모든 데이터를 단일 패스로 읽거나 쓰는 상태 비저장 특성으로 인해 Fiona보다 유연성이 떨어질 수 있습니다[1].
2. 파일 형식 지원
- Fiona: Fiona는 ESRI Shapefile, GeoPackage, GeoJSON 등 다양한 파일 형식을 지원합니다. Python 생태계의 많은 프로젝트에서 사용되는 범용 공간 형식 I/O 라이브러리입니다[1].- Pyogrio: Pyogrio는 특히 GeoPandas GeoDataFrames와 Fiona를 사용하는 공간 파일 형식 간의 데이터 읽기/쓰기에 필요한 데이터 변환 수를 줄이기 위한 시도로 GeoPandas를 대상으로 합니다. GeoJSON, GeoPackage 및 Shapefile 형식을 지원하지만 주로 GeoPandas 지향 I/O 작업에 중점을 두고 있습니다[1][5].
3. 성능
- Fiona: Fiona는 유연성과 견고함으로 유명하지만 성능에 최적화되지 않을 수 있습니다. 복잡한 데이터 변환을 처리하고 증분 쓰기 또는 추가를 지원하도록 설계되었습니다.- Pyogrio: Pyogrio는 벡터화된 접근 방식을 활용하여 더 빠른 I/O 작업을 위해 설계되었습니다. 이는 특히 대규모 데이터 세트의 경우 Fiona에 비해 성능이 크게 향상될 수 있습니다[1].
4. 설치 및 호환성
- Fiona: Fiona는 널리 사용 가능하며 Windows를 포함하여 더 광범위한 플랫폼을 지원합니다. 기본적으로 GeoPandas에 포함되어 있으며 파일을 읽고 쓰는 엔진으로 사용할 수 있습니다.- Pyogrio: Pyogrio는 Linux 및 MacOS용 Conda-forge에서 사용할 수 있지만 Windows용 바이너리 종속성 패키징의 복잡성으로 인해 아직 PyPi에서는 사용할 수 없습니다. 원시 I/O 지원과 geopandas, pygeos 및 GeoDataFrame I/O 지원을 위한 종속성을 위해서는 Conda-forge의 호환 가능한 버전의 GDAL 및 numpy가 필요합니다[1].
5. GeoPandas의 기본 엔진
- Fiona: Fiona는 현재 GeoPandas에서 파일 읽기 및 쓰기에 사용하는 기본 엔진입니다. 그러나 GeoPandas 1.0은 상당한 속도 향상 가능성으로 인해 Pyogrio를 기본 엔진으로 사용하도록 전환됩니다[4].요약하면 Fiona는 데이터 처리에 대한 더 많은 유연성과 제어 기능을 제공하는 반면 Pyogrio는 더 빠른 I/O 작업에 최적화되어 있습니다. Fiona는 더 넓은 범위의 파일 형식을 지원하고 더 광범위하게 사용 가능하지만 Pyogrio는 GeoPandas 지향 I/O 작업을 위해 특별히 설계되었으며 성능 향상을 제공할 수 있습니다.
인용:[1] https://pypi.org/project/pyogrio/0.2.0/
[2] https://github.com/geopandas/geopandas/issues/2908
[3] https://discourse.pangeo.io/t/geopandas-bbox-and-mask-params-return-empty-dataframe-fiona-pyogrio-for-file-geodatabase/3011
[4] https://geopandas.org/en/stable/docs/reference/api/geopandas.read_file.html
[5] https://github.com/geopandas/pyogrio