AI Chatbot: from Good to Great!

De typische ontwikkelingspijplijn voor een Azure-gebaseerde chatbot omvat het gebruik van Azure Cognitive Services voor documentinvoer. Dit proces omvat het opsplitsen van documenten in beheersbare stukken, het genereren van embeddings uit deze stukken en het integreren van deze embeddings in de chatbot. Deze integratie zorgt ervoor dat de chatbot effectief kan reageren op gebruikersinteracties op basis van de verwerkte informatie.

Volgens Microsoft is dit een overtuigende pijplijn om snel een Gen AI-toepassing op te schalen.

Toonaangevend informatieophaal- en zoekplatform voor RAG

Azure AI Search, een AI-gestuurd informatieophaalplatform, helpt ontwikkelaars rijke zoekervaringen en generatieve AI-apps te bouwen die grote taalmodellen combineren met bedrijfsgegevens. Implementeer zoekfunctionaliteit voor elke mobiele of zoekapplicatie binnen uw organisatie of als onderdeel van software-as-a-service (SaaS)-apps.

De Azure Bot Framework SDK V4 legt de basis voor botontwikkeling op Azure en biedt de nodige bibliotheken en tools voor de taak. LUIS, als onderdeel van Azure’s cognitive services, interpreteert gebruikersinvoer om intentie te achterhalen en entiteiten te extraheren. Wanneer LUIS’ vertrouwen in de intentie onder de 30% ligt, wordt de query doorgestuurd naar QnA Maker, die antwoorden genereert uit bestaande gegevens zoals veelgestelde vragen (FAQ’s). SharePoint Online fungeert als een inhoudsdatabank, geraadpleegd door LUIS wanneer de intentiezekerheid hoger is dan 30%, om gegevensinteracties te beheren. Tot slot presenteren Adaptive Cards interactieve inhoud binnen de dialoog van de bot, waarbij gegevens uit SharePoint Online worden benut en gebruikersinteractie wordt gefaciliteerd.

Documentzoekbot met Azure Bot Framework

De vraag die echter opdoemt, is de effectiviteit van deze pijplijn in het leveren van chatbots van topniveau. Voordat we deze vraag beantwoorden op basis van onze ervaring met klanten, laten we eerst definiëren wat uitmuntendheid betekent.

Vanuit het perspectief van de chatbotgebruikerservaring is een ‘geweldige’ bot er een die meer dan 8 van de 10 keer relevante antwoorden geeft. Het bereiken van een nauwkeurigheidspercentage van meer dan 80% is zeer wenselijk voor klantenservice en KnowledgeBot-achtige toepassingen.

Op basis van onze ervaring bereikt de eerder genoemde ‘kant-en-klare’ pijplijn doorgaans een nauwkeurigheidspercentage in het bereik van 60%-70% op zijn best. Het is belangrijk op te merken dat de keuze van het Large Language Model (LLM) de minste schuld heeft aan deze beperking!

Van Goed naar Geweldig!

Het bereiken van een nauwkeurigheidspercentage van meer dan 80% in chatbotantwoorden vereist aanzienlijke aanpassingen in bijna alle stappen van de pijplijn. Hier is een uitgebreide aanpak:

Aangepaste structuurbewuste invoer: Gebruik geavanceerde technieken en bibliotheken die de oorspronkelijke structuur van documenten behouden tijdens de conversie naar tekst. Deze stap is van vitaal belang voor het behoud van de integriteit en context van de informatie, waardoor onnauwkeurigheden als gevolg van structuurverlies worden verminderd.

Intelligent chunking & geavanceerde embeddings: Implementeer inhoudsbewuste chunking-strategieën die zich richten op de relevantie van tekstsegmenten voor de vragen die door de chatbot moeten worden beantwoord. Optimaliseer de grootte van deze stukken voor efficiënte verwerking zonder context te verliezen. Upgrade naar het nieuwste embeddingsmodel, zoals ADA-003, dat verbeteringen biedt ten opzichte van zijn voorgangers, en pas het aan om aan de specifieke behoeften van de dataset te voldoen.

Verbeterde contextmetadata: Ga verder dan het vastleggen van basismetadata door gedetailleerde contextmetadata te integreren met de tekststukken. Deze metadata moet rijk en beschrijvend zijn, zodat de embeddings een dieper begrip van de context, het doel en de relevantie van het document kunnen opnemen.

Hybride similariteitszoekopdracht met aangepaste herordening: Ontwikkel een geavanceerder similariteitszoekmechanisme dat verschillende soorten zoekmethodologieën combineert om de meest relevante tekststukken te identificeren. Pas het herordenen aan om ervoor te zorgen dat zowel de inhoud van het stuk als de contextuele relevantie in aanmerking worden genomen, zodat de meest geschikte antwoorden naar voren komen.

Het is onwaarschijnlijk dat het meest relevante stuk als nummer één wordt geretourneerd, maar het is waarschijnlijk dat het binnen de top 100 wordt geretourneerd.

Verfijnde LLM-promptengineering: Engageer in gedetailleerde promptengineering met het Large Language Model om zijn vermogen te verbeteren om de meest nauwkeurige en relevante antwoorden te selecteren en te formuleren. Dit omvat het aanpassen van prompts om gebruik te maken van de gestructureerde en rijkelijk gecontextualiseerde gegevens die worden verstrekt, waardoor de effectiviteit van het LLM wordt gemaximaliseerd.

Het optimaliseren van de context voor een klein aantal stukken, specifiek minder dan vijf, binnen een Large Language Model (LLM) contextoproep is zowel haalbaar als voordelig.

Interactieve botervaring met mens-in-de-lus: Creëer een meer interactieve en mensachtige chatbotervaring. Dit kan inhouden dat u een aangepaste chatbotapplicatie ontwikkelt die gebruikers opties biedt om hun vragen te verfijnen of te kiezen uit meerdere antwoorden. Het integreren van een mens-in-de-lus-aanpak waar nodig kan ook helpen om de nauwkeurigheid en relevantie van antwoorden continu te verbeteren op basis van gebruikersfeedback en interacties.

Continu leren en optimaliseren: Implementeer een feedbacklus waarin het systeem leert van elke interactie, de nauwkeurigheid van chunking, embeddings en responsgeneratie continu verbetert. Dit vereist geavanceerde machine learning-technieken en mogelijk handmatige supervisie om ervoor te zorgen dat de chatbot evolueert en zich aanpast aan de behoeften van gebruikers in de loop van de tijd.

Door deze pijplijnstappen aan te passen, kunt u de nauwkeurigheid en effectiviteit van een chatbot aanzienlijk verbeteren, waardoor deze in staat is om met een nauwkeurigheid van meer dan 80% te reageren. Deze op maat gemaakte aanpak zorgt ervoor dat de chatbot niet alleen voldoet aan, maar zelfs de verwachtingen van gebruikersinteracties overtreft, wat zorgt voor een naadloze en efficiënte gebruikerservaring.

De Rol van Pandorabot.io in het Verhogen van Chatbot Ervaringen

🧠 KnowledgeBot 💰SalesBot 🛠️ ServiceBot 👁️‍🗨️ VisionBot

Voor bedrijven die het volledige potentieel van AI in klantinteracties willen benutten, is Pandorabot.io een toonaangevende oplossing. Gespecialiseerd in het creëren van op maat gemaakte chatbots, biedt Pandorabot.io een platform waar bedrijven chatbots kunnen ontwikkelen die niet alleen zijn afgestemd op hun specifieke behoeften, maar ook met hen mee kunnen evolueren. Onze chatbots zijn ontworpen om genuanceerde, industriespecifieke interacties te bieden, naadloze integratie met bedrijfssystemen en state-of-the-art gegevensbeveiligingsmaatregelen. Met Pandorabot.io kunnen bedrijven een chatbotervaring garanderen die de klantbetrokkenheid verhoogt, de merkreputatie versterkt en de operationele efficiëntie verbetert.