A keresési eredmények alapján az ETL (Extract, Transform, Load) döntő szerepet játszik a Retrieval Augmented Generation (RAG) rendszerek adatbeviteli folyamatában:
1. Kivonat: A RAG adatfeldolgozási folyamat első lépése az adatok kinyerése különböző forrásokból, például adatbázisokból, szerverekből, adatközpontokból és online forrásokból. Ide tartoznak a strukturált és strukturálatlan adatok, például szövegfájlok, CSV-fájlok és PDF-dokumentumok. A LangChain különféle dokumentumbetöltőket biztosít a különböző forrásokból származó adatok betöltéséhez.
2. Átalakítás: A kinyert adatok ezután egy előfeldolgozási lépésen esnek át, amely a következőket tartalmazza:
- Szövegfelosztás: A hosszú szöveget kisebb szegmensekre osztja a rendszer, hogy illeszkedjen a beágyazási modell maximális tokenhosszához.
- Tokenizálás: A szöveget egyedi tokenekre, például szavakra vagy kifejezésekre bontják, hogy hatékonyabb és pontosabb ábrázolást hozzon létre.
3. Betöltés: Az előre feldolgozott adatokat ezután nagydimenziós vektorokká alakítják, amelyek a szöveget numerikus formátumban jelenítik meg. Ezeket a beágyazásokat speciális vektoradatbázisokban tárolják, mint például a Milvus, amelyek gyors keresési és visszakeresési műveletekre vannak optimalizálva.
Az ETL-folyamat kulcsfontosságú a RAG adatfeldolgozási folyamat szempontjából, mert biztosítja az adatok összegyűjtését, átalakítását és rendszerbe való betöltését oly módon, hogy lehetővé tegye a hatékony visszakeresést és a nyelvi modellekkel való integrációt. Ezt a strukturált megközelítést követve a RAG rendszer hatékonyan tudja kihasználni a külső adatforrásokat a nyelvi modellek ismeretének bővítésére, valamint pontosabb és kontextus szerinti válaszok biztosítására a felhasználói lekérdezésekre.
Összefoglalva, az ETL folyamat a RAG adatfeldolgozási folyamat alapvető összetevője, mivel lehetővé teszi a rendszer számára, hogy nagy mennyiségű, változatos adatot tudjon feldolgozni és előkészíteni a Retrieval Augmented Generation folyamatban való használatra.
Idézetek:[1] https://www.crossml.com/build-a-rag-data-ingestion-pipeline/
[2] https://aws.amazon.com/blogs/big-data/build-a-rag-data-ingestion-pipeline-for-large-scale-ml-workloads/
[3] https://docs.zenml.io/user-guide/llmops-guide/rag-with-zenml/data-ingestion
[4] https://developer.nvidia.com/blog/rag-101-demystifying-retrieval-augmented-generation-pipelines/
[5] https://mallahyari.github.io/rag-ebook/03_prepare_data.html