Che cos’è la “Prompt Engineering” e come funziona?

Scritto da Alice Ivey tramite CoinTelegraph.com,

Esplora il concetto di ingegneria rapida, il suo significato e come funziona nella messa a punto dei modelli linguistici…

Il prompt engineering è diventato un metodo potente per ottimizzare i modelli linguistici nell'elaborazione del linguaggio naturale (NLP) . Implica la creazione di suggerimenti efficienti, spesso indicati come istruzioni o domande, per dirigere il comportamento e l'output dei modelli di intelligenza artificiale.

Grazie alla capacità dell'ingegneria rapida di migliorare la funzionalità e la gestione dei modelli linguistici, ha attirato molta attenzione. Questo articolo approfondirà il concetto di ingegneria rapida, il suo significato e come funziona.

Comprensione dell'ingegneria rapida

La progettazione rapida comporta la creazione di domande o istruzioni precise e informative che consentono agli utenti di acquisire gli output desiderati dai modelli di intelligenza artificiale.

Questi prompt fungono da input precisi che dirigono il comportamento di modellazione del linguaggio e la generazione del testo.

Gli utenti possono modificare e controllare l'output dei modelli AI strutturando attentamente i prompt, il che ne aumenta l'utilità e l'affidabilità.

Storia dell'ingegneria rapida

In risposta alla complessità e alle capacità in espansione dei modelli linguistici, l'ingegneria dei prompt è cambiata nel tempo. Sebbene l'ingegneria rapida possa non avere una lunga storia, le sue basi possono essere viste nelle prime ricerche sulla PNL e nella creazione di modelli di linguaggio AI. Ecco una breve panoramica della storia dell'ingegneria rapida:

Era pre-trasformatore (prima del 2017)

L'ingegneria rapida era meno comune prima dello sviluppo di modelli basati su trasformatore come il trasformatore generativo pre-addestrato (GPT) di OpenAI . La conoscenza contestuale e l'adattabilità mancano nei modelli linguistici precedenti come le reti neurali ricorrenti (RNN) e le reti neurali convoluzionali (CNN) , il che limita il potenziale per l'ingegneria rapida.

Pre-formazione e l'emergere di trasformatori (2017)

L'introduzione dei trasformatori, in particolare con il documento "Attention Is All You Need" di Vaswani et al. nel 2017, ha rivoluzionato il campo della PNL. I trasformatori hanno reso possibile pre-addestrare i modelli linguistici su vasta scala e insegnare loro come rappresentare parole e frasi nel contesto. Tuttavia, per tutto questo tempo, l'ingegneria rapida era ancora una tecnica relativamente inesplorata.

Ottimizzazione e ascesa del GPT (2018)

Un importante punto di svolta per l'ingegneria rapida si è verificato con l'introduzione dei modelli GPT di OpenAI. I modelli GPT hanno dimostrato l' efficacia della pre-formazione e della messa a punto su particolari compiti a valle. Per una varietà di scopi, ricercatori e professionisti hanno iniziato a utilizzare tecniche di ingegneria rapida per dirigere il comportamento e l'output dei modelli GPT.

Progressi nelle tecniche di ingegneria rapida (2018-oggi)

Man mano che la comprensione dell'ingegneria rapida cresceva, i ricercatori iniziarono a sperimentare diversi approcci e strategie. Ciò includeva la progettazione di prompt ricchi di contesto, l'utilizzo di modelli basati su regole, l'incorporazione di istruzioni di sistema o per l'utente e l'esplorazione di tecniche come l'ottimizzazione dei prefissi. L'obiettivo era migliorare il controllo, mitigare i pregiudizi e migliorare le prestazioni complessive dei modelli linguistici.

Contributi ed esplorazione della comunità (2018-oggi)

Man mano che l'ingegneria rapida guadagnava popolarità tra gli esperti di PNL, accademici e programmatori hanno iniziato a scambiarsi idee, lezioni apprese e migliori pratiche. I forum di discussione online, le pubblicazioni accademiche e le biblioteche open source hanno contribuito in modo significativo allo sviluppo di metodi di ingegneria rapida.

Ricerca in corso e direzioni future (presente e oltre)

L'ingegneria rapida continua ad essere un'area attiva di ricerca e sviluppo. I ricercatori stanno esplorando modi per rendere l'ingegneria rapida più efficace, interpretabile e di facile utilizzo. Si stanno studiando tecniche come ricompense basate su regole, modelli di ricompensa e approcci umani nel ciclo per perfezionare le strategie di ingegneria rapida.

Significato dell'ingegneria rapida

L'ingegnerizzazione rapida è essenziale per migliorare l'usabilità e l'interpretabilità dei sistemi di intelligenza artificiale. Ha una serie di vantaggi, tra cui:

Controllo migliorato

Gli utenti possono dirigere il modello linguistico per generare le risposte desiderate fornendo istruzioni chiare tramite prompt. Questo grado di supervisione può aiutare a garantire che i modelli di intelligenza artificiale forniscano risultati conformi a standard o requisiti predeterminati.

Ridurre i pregiudizi nei sistemi di intelligenza artificiale

L'ingegneria rapida può essere utilizzata come strumento per ridurre i pregiudizi nei sistemi di intelligenza artificiale . I pregiudizi nel testo generato possono essere trovati e ridotti progettando attentamente i prompt, portando a risultati più giusti e uguali.

Modifica del comportamento del modello

I modelli linguistici possono essere modificati per visualizzare i comportamenti desiderati utilizzando il prompt engineering. Di conseguenza, i sistemi di intelligenza artificiale possono diventare esperti in particolari attività o domini, il che ne migliora l'accuratezza e l'affidabilità in particolari casi d'uso.

Come funziona l'ingegneria tempestiva

Il prompt engineering utilizza un processo metodico per creare potenti prompt. Ecco alcune azioni cruciali:

Specificare l'attività

Stabilisci lo scopo o l'obiettivo preciso che vuoi che il modello linguistico raggiunga. Può essere coinvolta qualsiasi attività di PNL , incluso il completamento del testo, la traduzione e il riepilogo.

Identificare gli input e gli output

Definisci chiaramente gli input richiesti dal modello linguistico e gli output desiderati che ti aspetti dal sistema.

Creare prompt informativi

Creare prompt che comunichino chiaramente il comportamento previsto al modello. Queste domande dovrebbero essere chiare, brevi e appropriate per lo scopo dato. Trovare i migliori prompt può richiedere tentativi ed errori e revisioni.

Iterare e valutare

Metti alla prova i prompt creati inserendoli nel modello linguistico e valutando i risultati. Esamina i risultati, cerca i difetti e modifica le istruzioni per migliorare le prestazioni.

Calibrazione e messa a punto

Tenere conto dei risultati della valutazione durante la calibrazione e la messa a punto dei prompt. Questa procedura comporta l'esecuzione di piccoli aggiustamenti per ottenere il comportamento del modello richiesto, assicurando che sia allineato con il lavoro e i requisiti previsti.