Aanleiding
Ik betaal 200 euro per maand aan OpenAI voor het gebruik van ChatGPT / Codex. Dat is het absoluut waard, want ik werk er de hele dag en iedere dag mee. Tot op heden heb ik aan dat abonnement altijd genoeg gehad. Tot eerder deze week. Ik was over mijn beschikbare credits heen gegaan. Kan gebeuren.
Ik kocht voor 100 euro extra credits. Die waren na een dag op. Toen kocht ik voor weer 100 euro AI-rekenkracht. Die waren in twee uur op. Volstrekt onbegrijpelijk, ik deed niks geks. OpenAI moet in de war geweest zijn.
Maar ik had geen zin om nog meer aan te schaffen. Ik ben mijn energie ergens anders in gaan stoppen. Ik heb de afgelopen dagen een systeem gebouwd dat per vraag / opdracht het meest geschikte model kiest. Dat kan van OpenAI, Claude of wie dan ook zijn. Ook van open source modellen.
Ik ben zo niet meer afhankelijk van één speler. Zo werkt het ...
[Wat Blijft is mijn onderzoek naar de vraag: waarin blijft de mens uitblinken in een tijd van AI en welke menselijke kwaliteiten verdienen daarom extra aandacht? In september verschijnt het als papieren boek. Bestel je het nu voor € 27,50, dan krijg je ook toegang tot extra visies, interviews en onderzoek én help je de totstandkoming van het boek mogelijk te maken. Doe mee!]
Blom-OS simpel uitgelegd
Blom-OS is een verzameling tekstdocumenten die samen beschrijven wie ik ben, wie ik ken, wat ik weet, wat ik doe, wat ik heb gemaakt, hoe ik werk en hoe ik technologie voor mij laat werken. Het is tegelijk een archief, een handleiding en een actueel werkgeheugen.
Daardoor kan ik AI opdrachten geven zonder iedere keer opnieuw alle context en spelregels uit te leggen. Voor een model aan het werk gaat, krijgt het uit Blom-OS alleen de kennis, instructies en projectinformatie mee die voor die taak relevant zijn. Het hoeft dus niet telkens mijn hele geschiedenis te lezen.
Na afloop kunnen belangrijke resultaten en lessen weer aan Blom-OS worden toegevoegd. Een goede aanpak wordt zo een werkwijze. Nieuwe kennis wordt onderdeel van het archief. Besluiten en voortgang worden onderdeel van de actuele projectstatus.
Mijn kennis, werkwijze en geheugen zitten dus in Blom-OS, niet in het AI-model.
Daardoor ben ik niet afhankelijk van één model. Ik kan verschillende commerciële en open modellen gebruiken. Mijn systeem blijft hetzelfde.
Het systeem kan bovendien per taak bepalen welk model geschikt is. Een eenvoudige klus kan naar een goedkoop en snel model. Normaal denk- en schrijfwerk kan naar een sterker standaardmodel. Alleen moeilijke of vastgelopen taken hoeven naar een zwaar model.
Blom-OS is zo mijn vaste basis. Modellen en tools kunnen veranderen, terwijl mijn kennis, werkwijze, projectgeschiedenis en opgebouwde ervaring behouden blijven.
Blom-OS voor iets technischer lezers
Onder de motorkap draait het om drie losse onderdelen: geheugen, contextselectie en modelkeuze.
Het belangrijkste ontwerpbesluit is dat het geheugen buiten het model staat. Een lang gesprek met één AI-model is namelijk een dure manier om continuïteit te bewaren. Bij iedere nieuwe beurt wordt vaak een groot deel van de eerdere context opnieuw verwerkt. Wissel je van model, dan kan eerder opgebouwde prompt-caching bovendien verdwijnen.
Blom-OS probeert dat probleem anders op te lossen.
Er is eerst een blijvend archief. Daarin kunnen documenten, eerdere gesprekken, projectinformatie, besluiten, werkwijzen en resultaten worden bewaard. Dat archief mag groot zijn, want het wordt niet automatisch bij iedere opdracht meegestuurd.
Daarnaast is er per project een kleine actuele werkstatus. Daarin staat bijvoorbeeld wat het doel is, welke besluiten al genomen zijn, waar het werk nu staat en welke openstaande punten belangrijk zijn. Die actieve status moet bewust compact blijven.
Wanneer ik een opdracht geef, stelt het systeem daaruit een klein contextpakket samen. Alleen de relevante instructies, kennis, projectstatus, recente informatie en eventueel een paar stukken uit het archief gaan mee naar het model.
Daarna komt de routering.
Het systeem kijkt onder meer naar hoe moeilijk de taak is, hoeveel context nodig is, wat het risico van fouten is en of eerdere pogingen zijn mislukt. Op basis daarvan kiest het een modelklasse.
Een simpele en voorspelbare taak kan naar een goedkoop model. Voor normaal schrijf-, analyse- en bouwwerk is er een standaardklasse. Als een taak aantoonbaar moeilijk is of eerdere pogingen vastlopen, kan het systeem opschalen naar een zwaarder model.
Die modelklassen zijn bewust losgekoppeld van specifieke leveranciers. Vandaag kan een bepaalde modelnaam onder de klasse “goedkoop” vallen en een andere onder “zwaar”. Als prijzen of kwaliteit veranderen, kan die invulling worden vervangen zonder de rest van het systeem te herschrijven.
Na afloop levert het model behalve het resultaat eventueel ook een kleine update voor de projectstatus: een nieuw besluit, een afgeronde taak, een openstaand punt of een geleerde werkwijze. Zo blijft het actieve geheugen actueel zonder dat de hele conversatie hoeft te worden opgeslagen als werkcontext.
Als informatie ontbreekt, hoeft het model niet te gokken. Het systeem kan gericht terugzoeken in het grotere archief en alleen het relevante fragment alsnog ophalen.
De architectuur ziet er daardoor ongeveer zo uit:
Vraag of opdracht
→ relevante context uit Blom-OS verzamelen
→ taak inschatten
→ passend model kiezen
→ taak uitvoeren
→ resultaat geven
→ belangrijke nieuwe kennis terugschrijven naar Blom-OS
De winst zit dus niet alleen in het kiezen van een goedkoper model. Minstens zo belangrijk is dat ieder model veel minder informatie hoeft te verwerken.
Een duurder model met een paar duizend relevante tokens kan uiteindelijk goedkoper zijn dan een goedkoop model dat telkens een enorme gesprekshistorie moet lezen of meerdere keren opnieuw moet proberen.
Het systeem optimaliseert daarom uiteindelijk vier dingen tegelijk: welk model nodig is, hoeveel context nodig is, welke hulpmiddelen nodig zijn en hoeveel pogingen verantwoord zijn.
De bedoeling is dat Blom-OS daarmee de vaste laag wordt en AI-modellen verwisselbare uitvoerders. De kennis blijft bij mij. De modellen doen telkens alleen het werk waarvoor ze op dat moment nodig zijn.
Vrienden,
Ik groet U
Erwin Blom