Dit zijn de belangrijkste verschillen tussen Automatic Prompt Engineering (APE) en traditionele Prompt Engineering:
1. Automatisering versus handmatige inspanning:
- Automatic Prompt Engineering (APE): automatiseert het proces van het maken en optimaliseren van prompts met behulp van taalmodellen. Het genereert, evalueert en verfijnt aanwijzingen zonder handmatige tussenkomst.
- Traditionele Prompt Engineering: is afhankelijk van handmatige inspanningen van menselijke experts om prompts te ontwerpen, testen en herhalen.
2. Schaalbaarheid:
- APE: Kan snel een groot aantal prompts genereren en evalueren, waardoor het schaalbaarder is dan handmatige prompt-engineering.
- Traditionele Prompt Engineering: beperkt door de tijd en moeite die nodig is voor handmatig promptontwerp en testen.
3. Aanpassingsvermogen:
- APE: Kan prompts dynamisch aanpassen op basis van feedback en prestaties, waardoor continue verbetering mogelijk is.
- Traditionele Prompt Engineering: Prompts zijn statischer en vereisen handmatige updates om zich aan te passen aan veranderende vereisten of modelmogelijkheden.
4. Objectiviteit versus subjectiviteit:
- APE: maakt gebruik van geautomatiseerde score- en evaluatiestatistieken om de meest effectieve aanwijzingen te selecteren, waardoor de invloed van menselijke vooroordelen wordt verminderd.
- Traditionele Prompt Engineering: vertrouwt meer op het subjectieve oordeel en de domeinexpertise van menselijke snelle ingenieurs.
5. Computationele bronnen:
- APE: vereist aanzienlijke computerbronnen en toegang tot krachtige taalmodellen om aanwijzingen te genereren en te evalueren.
- Traditionele Prompt Engineering: Over het algemeen minder rekenintensief, maar mogelijk beperkt door de beschikbaarheid van menselijke experts.
6. Complexiteit van aanwijzingen:
- APE: Kan omgaan met het genereren en optimaliseren van complexere aanwijzingen die uit meerdere stappen bestaan en die voor mensen moeilijk handmatig te ontwerpen zijn.
- Traditionele Prompt Engineering: Prompts zijn vaak eenvoudiger en duidelijker, omdat ze zijn gemaakt door menselijke experts.
Samenvattend maakt automatische prompt-engineering gebruik van de mogelijkheden van taalmodellen om het prompt-ontwerpproces te automatiseren en te schalen, terwijl traditionele prompt-engineering meer afhankelijk is van handmatige inspanning en menselijke expertise. De keuze tussen de twee benaderingen hangt af van de specifieke vereisten, middelen en de complexiteit van de taak die moet worden uitgevoerd.
Citaties:[1] https://arxiv.org/html/2401.14423v4
[2] https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/guides/prompts-advanced-usage.md
[3] https://towardsdatascience.com/automated-prompt-engineering-78678c6371b9?gi=6eeb1dfd344d
[4] https://www.e2enetworks.com/blog/a-guide-to-prompt-engineering-from-zero-shot-to-chain-of-thought
[5] https://datascientest.com/en/advanced-prompt-engineering-what-does-it-involve