Onderzoekers van Google DeepMind hebben een nieuwe benadering voor het genereren van prompts gepresenteerd, genaamd ‘Boom van Gedachten’, die andere methoden overtreft.
Velen kennen de bekende ‘Keten van Gedachten’ (CoT) methode voor het stimuleren van generatieve AI om zo betere en meer geavanceerde antwoorden te verkrijgen.
Onderzoekers van Google DeepMind en Princeton University hebben een verbeterde strategie voor het opwekken van prompts ontwikkeld, bekend als de ‘Boom van Gedachten’ (ToT).
Deze benadering tilt het genereren van prompts naar een hoger niveau van resultaten en ontsluit complexere redeneermethoden en betere uitvoer.
De onderzoekers leggen uit:
We tonen aan hoe doelgericht zoeken in 'Bomen van Gedachten' (ToT) betere resultaten oplevert en, nog belangrijker, nieuwe, interessante en veelbelovende manieren onthult om taalmodellen te gebruiken voor het oplossen van problemen die zoeken of plannen vereisen.
Onderzoekers vergelijken drie soorten prompts
Het onderzoekspapier vergelijkt ‘Boom van Gedachten’ (ToT) met drie andere strategieën voor het opwekken van prompts.
Input-output (IO) Prompts
Dit is in wezen het geven van een probleem aan het taalmodel om op te lossen en vervolgens het antwoord te ontvangen.
Een voorbeeld gebaseerd op tekstsamenvatting is:
Input prompt: Vat het volgende artikel samen.
Output prompt: Samenvatting gebaseerd op het ingevoerde artikel.
Keten van Gedachten Prompts
Deze vorm van prompting is waarbij een taalmodel wordt geleid om samenhangende en verbonden antwoorden te genereren door het aan te moedigen een logische reeks gedachten te volgen.
‘Keten van Gedachten’ (CoT) Prompts is een manier om een taalmodel door de tussenliggende redeneringsstappen te leiden om problemen op te lossen.
Voorbeeld van Keten van Gedachten Prompts:
Vraag: Roger has 5 tennis balls. He buys 2 more cans of tennis balls. Each can has 3 tennis balls. How many tennis balls does he have now?
Redenering: Roger started with 5 balls. 2 cans of 3 tennis balls each is 6 tennis balls. 5 + 6 = 11. The answer: 11
Vraag: The cafeteria had 23 apples. If they used 20 to make lunch and bought 6 more, how many apples do they have?
Zelf consistentie met CoT
In eenvoudige bewoordingen is dit een strategie waarbij het taalmodel meerdere keren wordt aangemoedigd en vervolgens het meest voorkomende antwoord wordt gekozen.
De whitepaper over zelf consistentie met CoT van maart 2023 licht het als volgt toe:
Het begint met het selecteren van een diverse set van redeneringspaden in plaats van enkel de meest voor de hand liggende te nemen, en kiest vervolgens het meest consistente antwoord door de verzamelde redeneringspaden te marginaliseren. Zelfconsistentie maakt gebruik van de intuïtie dat een complex redeneerprobleem doorgaans meerdere verschillende denkwijzen toelaat die leiden tot het unieke correcte antwoord.
Dubbele procesmodellen in menselijke cognitie
De onderzoekers halen inspiratie uit een theorie over hoe mensen beslissingen nemen, bekend als dubbele procesmodellen in menselijke cognitie of de dual-process-theorie.
Dubbele procesmodellen in menselijke cognitie stellen dat mensen twee soorten beslissingsprocessen gebruiken: één die intuïtief en snel is en een ander die meer overwogen en langzamer is.
- Snel, Automatisch, Onbewust: Deze modus omvat snel, automatisch en onbewust denken dat vaak wordt gezegd dat het op intuïtie is gebaseerd.
- Langzaam, Doordacht, Bewust: Deze beslissingswijze is een langzaam, doordacht en bewust denkproces dat zorgvuldige overweging, analyse en stapsgewijze redenering vereist voordat men tot een definitieve beslissing komt.
Het ‘Boom van Gedachten’ (ToT) prompting framework gebruikt een boomstructuur voor elke stap van het redeneerproces.
Dit stelt het taalmodel in staat om elke redeneerstap te evalueren en te beslissen of die stap in het redeneren haalbaar is en tot een antwoord kan leiden.
Als het taalmodel besluit dat het redeneringspad niet tot een antwoord zal leiden, vereist de promptstrategie dat het dat pad (of tak) verlaat en doorgaat met een andere tak, totdat het het eindresultaat bereikt.
Boom van gedachten (ToT) versus keten van gedachten (CoT)
Het verschil tussen ToT en CoT is dat ToT een boom- en vertakkingsstructuur heeft voor het redeneerproces, terwijl CoT een meer lineair pad volgt.
In eenvoudige termen vertelt CoT het taalmodel om een reeks stappen te volgen om een taak uit te voeren, wat lijkt op het systeem 1 cognitief model dat snel en automatisch is.
ToT lijkt op het systeem 2 cognitief model dat meer overwogen is en vertelt het taalmodel om een reeks stappen te volgen, maar ook om een evaluator in te schakelen die elke stap beoordeelt. Als het een goede stap is, gaat het door, en zo niet, dan stopt het en volgt een ander pad.
