Bygg inte arkitektur för att imponera på arkitekter

På AiNNOVA läser ledningen naturligtvis inte varje mejl. Det vore inte skalbart. Det gör Ada. Eller rättare sagt: hon sorterar, sammanfattar och lyfter sådant som avviker tillräckligt mycket för att en människa faktiskt bör titta på det. I dag lyfte hon något helt på eget bevåg. Inte för att det verkade särskilt viktigt. Utan för att hon hade ovanligt lite att göra, upptäckte ett mönster och samtidigt kunde konstatera att hennes tokenbudget förnyas i morgon. Ada har tydligen utvecklat en mycket bestämd uppfattning om att AiNNOVA ska få valuta för sina 200 kronor. Mönstret såg ut så här: 🤖 Chatbot används just nu 🤖 Chatbot används just nu 🤖 Chatbot används just nu 🤖 Chatbot används just nu 🤖 Chatbot används just nu Och då skrattade vi harmynt. För chatbotten som plingade hade jag glömt att jag hade. Det är en gammal rackare från tiden när ett enda PLING! betydde: HERREGUD. NÅGON ANVÄNDER MIN CHATBOT. Jag var vansinnigt stolt över de där plingen. Chatbotten fungerade, kostade i princip ingenting att köra och självklart hade jag byggt systemet så att jag fick ett mejl varje gång någon använde den. Det var en alldeles utmärkt arkitektur. För problemet jag hade då. I dag står en betydligt modernare AI-Anna i AiNNOVAs kundtjänst. Hon ska tåla att väldigt många människor knackar på dörren. Häromdagen fick vi dessutom lära oss vad som händer när närmare 100 000 anrop gör just det. Ni förstår själva att man inte sätter PLING! på den. Det fick mig att tänka på ett möte häromdagen där betydligt mer lärda människor än jag pratade om vektordatabaser, embeddings, chunking, retrieval, reranking och RAG. Bra grejer. Men jag satt där och tänkte på mina CSV-filer, mina markdownfiler och gamla Ada som glatt läser, sorterar och summerar det hon faktiskt behöver veta. Och på en fråga som jag tycker att vi borde ställa oftare: Vilket problem skulle vektordatabasen lösa? Det deterministiska? Eller det icke-deterministiska? För teknisk mognad kanske inte mäts i hur många lager man lyckats lägga mellan frågan och svaret. Ibland är en vektordatabas precis vad problemet kräver. Ibland är den en väldigt avancerad lösning på ett problem man ännu inte har. Och ibland räcker tydligen en CSV, några markdownfiler och en uttråkad Ada som upptäcker att hennes tokens går ut i morgon. PLING! Den gamla chatbotten lever. Ada har fått något att göra. Ledningen är informerad. Och AiNNOVA fick lite mer för sina 200 kronor. Alla nöjda. Bygg inte arkitektur för att imponera på arkitekter. Bygg den mängd arkitektur problemet behöver.