Na podstawie wyników wyszukiwania można stwierdzić, że ETL (Extract, Transform, Load) odgrywa kluczową rolę w procesie pozyskiwania danych dla systemów Retrieval Augmented Generation (RAG):
1. Wyodrębnij: Pierwszym krokiem w potoku pozyskiwania danych RAG jest wyodrębnienie danych z różnych źródeł, takich jak bazy danych, serwery, centra danych i źródła internetowe. Dotyczy to danych ustrukturyzowanych i nieustrukturyzowanych, takich jak pliki tekstowe, pliki CSV i dokumenty PDF. LangChain udostępnia różne programy ładujące dokumenty umożliwiające ładowanie danych z różnych źródeł.
2. Przekształcanie: Wyodrębnione dane przechodzą następnie etap wstępnego przetwarzania, który obejmuje:
- Dzielenie tekstu: Długi tekst jest dzielony na mniejsze segmenty, aby dopasować go do maksymalnej długości tokena osadzanego modelu.
- Tokenizacja: tekst jest dzielony na pojedyncze tokeny, takie jak słowa lub frazy, w celu stworzenia bardziej wydajnej i dokładnej reprezentacji.
3. Wczytaj: Wstępnie przetworzone dane są następnie konwertowane na wielowymiarowe wektory, które reprezentują tekst w formacie numerycznym. Te osadzania są przechowywane w wyspecjalizowanych wektorowych bazach danych, takich jak Milvus, które są zoptymalizowane pod kątem szybkich operacji wyszukiwania i odzyskiwania.
Proces ETL ma kluczowe znaczenie dla potoku pozyskiwania danych RAG, ponieważ zapewnia gromadzenie, przekształcanie i ładowanie danych do systemu w sposób umożliwiający efektywne wyszukiwanie i integrację z modelami językowymi. Stosując to ustrukturyzowane podejście, system RAG może skutecznie wykorzystywać zewnętrzne źródła danych w celu poszerzenia wiedzy o modelach językowych i zapewnienia dokładniejszych i kontekstowych odpowiedzi na zapytania użytkowników.
Podsumowując, proces ETL jest podstawowym elementem potoku pozyskiwania danych RAG, ponieważ umożliwia systemowi pozyskiwanie i przygotowywanie dużych ilości różnorodnych danych do wykorzystania w procesie generowania rozszerzonego pobierania.
Cytaty:[1] https://www.crossml.com/build-a-rag-data-ingestion-pipeline/
[2] https://aws.amazon.com/blogs/big-data/build-a-rag-data-ingestion-pipeline-for-large-scale-ml-workloads/
[3] https://docs.zenml.io/user-guide/llmops-guide/rag-with-zenml/data-ingestion
[4] https://developer.nvidia.com/blog/rag-101-demystifying-retrieval-augmented-generation-pipelines/
[5] https://mallahyari.github.io/rag-ebook/03_prepare_data.html