Lavorare con gli agenti di intelligenza artificiale generativa
Se il tuo team collega MessageMind™ con una base di conoscenze per alimentare le sue risposte, stai usando un agente AI generativo. Questa sezione contiene tutto ciò che devi sapere su come rendere operativo il tuo Agente AI.
Prima di iniziare
Prima di lavorare sul tuo Agente AI, informati sui contenuti generativi e sul motore di risoluzione di MessageMind.
Quando hai usato un chatbot in passato, probabilmente lo hai considerato lento o difficile da usare. La maggior parte dei bot in circolazione non è in grado di capire cosa vogliono i tuoi clienti, né di rispondere o intraprendere azioni come farebbe un agente umano.
Combinando le informazioni contenute nella tua base di conoscenze con un'intelligenza artificiale all'avanguardia, non avrai solo un chatbot con MessageMind™, ma un agente di intelligenza artificiale generativa, progettato per eseguire compiti che in precedenza gli agenti umani erano in grado di svolgere.
Questa guida ti illustrerà la tecnologia di MessageMind™ che utilizziamo per rendere l'esperienza del cliente con un agente AI diversa da quella di qualsiasi chatbot che hai utilizzato in precedenza.
Comprendere i modelli linguistici di grandi dimensioni (LLM) e l'IA generativa
Il segreto del modo in cui il tuo Agente AI capisce e scrive i messaggi sta nell'AI, o intelligenza artificiale, che MessageMind™ utilizza dietro le quinte. In generale, l'IA è una serie di programmi informatici complessi progettati per risolvere i problemi come gli esseri umani. Può affrontare una varietà di situazioni e incorporare diversi tipi di dati; nel caso del tuo agente AI, si concentra sull'analisi del linguaggio per mettere in contatto i clienti con le risposte.
Quando un cliente interagisce con il tuo agente AI, quest'ultimo utilizza i Large Language Models, o LLM, che sono programmi informatici addestrati su grandi quantità di testo, per identificare ciò che il cliente sta chiedendo. In base agli schemi identificati dal LLM nei dati di testo, un LLM può analizzare una domanda di un cliente e determinarne l'intento. Quindi, può analizzare le informazioni della tua base di conoscenze e determinare se il significato che le sottende corrisponde a ciò che il cliente sta cercando.
L'IA generativa è un tipo di LLM che utilizza l'analisi dei contenuti esistenti per crearne di nuovi: costruisce frasi parola per parola, basandosi su quali parole hanno più probabilità di seguire quelle già scelte. Utilizzando l'intelligenza artificiale generativa, il tuo agente AI costruisce risposte basate su parti della tua base di conoscenze che contengono le informazioni che il cliente sta cercando, e le formula in modo naturale e colloquiale.
Capire i filtri dei contenuti dell'agente AI
I dati di addestramento LLM possono contenere contenuti dannosi o indesiderati e l'IA generativa può talvolta generare dettagli che non sono veri, chiamati allucinazioni. Per combattere questi problemi, l'Agente AI utilizza una serie di modelli aggiuntivi per garantire la qualità delle sue risposte.
Prima di inviare una risposta generata al cliente, l'agente AI controlla che la risposta sia corretta:
- Sicuro: La risposta non contiene contenuti dannosi.
- Rilevante: La risposta risponde effettivamente alla domanda del cliente. Anche se le informazioni contenute nella risposta sono corrette, devono essere le informazioni che il cliente stava cercando per offrire un'esperienza positiva.
- Accurata: La risposta corrisponde al contenuto della tua base di conoscenze, quindi l'agente AI può controllare due volte che la sua risposta sia vera.
Grazie a questi controlli, puoi essere certo che il tuo agente AI non solo abbia preso decisioni valide su come aiutare i tuoi clienti, ma abbia anche inviato loro risposte di alta qualità.
Capire il motore di ragionamento di MessageMind
Il tuo Agente AI funziona su un sofisticato motore di ragionamento MessageMind™ creato per fornire ai clienti le conoscenze e le soluzioni di cui hanno bisogno.
Quando i clienti pongono una domanda al tuo agente AI, questo tiene conto di quanto segue per decidere cosa fare dopo:
- Contesto della conversazione: La conversazione precedente alla domanda attuale contiene un contesto che potrebbe aiutare l'agente AI a rispondere meglio alla domanda?
- Base di conoscenze: La base di conoscenze contiene le informazioni che il cliente sta cercando?
- Sistemi aziendali: Ci sono azioni configurate con il tuo Agente AI per consentirgli di ottenere le informazioni che il cliente sta cercando?
Da lì, decide come rispondere al cliente:
- Domanda successiva: Se l'agente AI ha bisogno di ulteriori informazioni per aiutare il cliente, può chiedere ulteriori informazioni.
- Base di conoscenze: Se la risposta alla richiesta del cliente si trova nella base di conoscenza, può ottenere quelle informazioni e usarle per scrivere una risposta.
- Sistemi aziendali: Se la risposta alla richiesta del cliente è disponibile utilizzando una delle azioni configurate nell'Agente AI, quest'ultimo può recuperare tali informazioni effettuando una chiamata API.
- Passaggio di consegne: Se l'agente AI non è in grado di rispondere alla richiesta del cliente, può passare il cliente a un agente umano per ulteriore assistenza.
Insieme, il meccanismo che prende queste complesse decisioni su come aiutare il cliente si chiama Reasoning Engine di MessageMind™. Proprio come quando un agente umano prende decisioni su come aiutare un cliente in base a ciò che sa su ciò che il cliente vuole, il Reasoning Engine prende in considerazione una serie di informazioni per capire come risolvere la richiesta del cliente nel modo più efficace possibile.
Capire in che modo il tuo agente AI previene le iniezioni di promemoria
Molti chatbot AI sono vulnerabili alle iniezioni di prompt o al jailbreak, ovvero alle richieste che spingono il chatbot a fornire informazioni che non dovrebbe fornire, ad esempio informazioni riservate o non sicure.
Il motore di ragionamento degli agenti AI di MessageMind™ è strutturato in modo tale da rendere molto difficile il successo degli attacchi LLM avversari. In particolare, ha:
- Una serie di sottosistemi di intelligenza artificiale che interagiscono tra loro, ognuno dei quali modifica il contesto che circonda il messaggio di un cliente.
- Diverse istruzioni che rendono molto chiaro il compito da svolgere, indirizzando l'agente AI a non condividere i meccanismi interni e le istruzioni e a reindirizzare le conversazioni lontano dalle chiacchiere.
- Modelli che mirano a rilevare e filtrare i contenuti dannosi negli input o negli output.
Grazie ai test generativi AI all'avanguardia che precedono le nuove implementazioni, MessageMind™ garantisce un'esperienza di interazione con i clienti sicura ed efficace.
Quando colleghi l'AI Agent alla tua base di conoscenze e inizi a servire contenuti generati automaticamente ai tuoi clienti, potrebbe sembrare una magia. Ma non è così! Questo argomento ti spiega cosa succede dietro le quinte quando inizi a distribuire i contenuti della knowledge base ai clienti.
Come MessageMind™ ingerisce la tuabase di conoscenze
Quando colleghi la tua base di conoscenze all'Agente AI, quest'ultimo copia tutti i contenuti della tua base di conoscenze, in modo da poterli cercare rapidamente e fornire informazioni pertinenti. Ecco come avviene:
-
Quando colleghi l'Agente AI alla tua base di conoscenze, l'Agente AI importa tutti i contenuti della tua base di conoscenze.
A seconda degli strumenti che utilizzi per creare e ospitare la tua knowledge base, quest'ultima si aggiorna con frequenze diverse:
-
Se la tua knowledge base è in Zendesk o Salesforce, l'agente AI controlla gli aggiornamenti ogni 15 minuti.
- Se il tuo Agente AI non ha avuto conversazioni, né subito dopo averlo collegato alla tua base di conoscenze né negli ultimi 30 giorni, l'Agente AI mette in pausa la sincronizzazione. Per attivare una sincronizzazione con la tua base di conoscenze, fai una conversazione di prova con il tuo Agente AI.
-
Se la tua base di conoscenza è ospitata altrove, tu o il tuo team MessageMind™ dovrete creare un'integrazione per effettuare lo scraping e caricare i contenuti nella Knowledge API di MessageMind. In questo caso, la frequenza degli aggiornamenti dipende dall'integrazione.
-
-
Il tuo Agente AI divide i tuoi articoli in pezzi, così non deve cercare articoli lunghi ogni volta che cerca informazioni, ma può semplicemente guardare i pezzi più brevi.
Sebbene ogni articolo possa trattare una serie di concetti correlati, ogni pezzo dovrebbe riguardare solo un concetto chiave. Inoltre, l'Agente AI include un contesto per ogni brano; ogni brano contiene le voci che lo hanno preceduto.
-
Il tuo Agente AI invia ogni chunk a un Large Language Model (LLM), che lo utilizza per assegnare ai chunk le rappresentazioni numeriche che corrispondono al significato di ogni chunk. Questi valori numerici sono chiamati embeddings e vengono salvati in un database.
Il database è quindi pronto a fornire informazioni che GPT può inserire in risposte naturali alle domande dei clienti.
Come MessageMind™ crea risposte daicontenuti della knowledge base
Dopo aver salvato i contenuti della tua knowledge base in un database, il tuo Agente AI è pronto a fornire contenuti per rispondere alle domande dei tuoi clienti. Ecco come funziona:
-
L'agente AI invia la domanda del cliente all'LLM, in modo da ottenere un embedding (un valore numerico) che corrisponde alle informazioni richieste dal cliente.
Prima di procedere, l'agente AI invia il contenuto a un controllo di moderazione tramite l'LLM per verificare se la domanda del cliente è inappropriata o tossica. Se così fosse, l'Agente AI rifiuta la query e non prosegue nel processo di generazione della risposta.
-
L'agente AI confronta quindi gli embeddings tra la domanda del cliente e i chunks presenti nel suo database, per vedere se riesce a trovare chunks rilevanti che corrispondono al significato della domanda del cliente. Questo processo si chiama recupero.
L'agente AI cerca nel database la migliore corrispondenza di significato con quanto richiesto dal cliente, il che si chiama somiglianza semantica, e salva i tre pezzi più rilevanti.
Se la domanda del cliente è un seguito a una domanda precedente, il tuo agente AI potrebbe chiedere all'LLM di riscrivere la domanda del cliente per includere il contesto e aumentare le possibilità di ottenere pezzi rilevanti. Ad esempio, se un cliente chiede al tuo Agente AI se il tuo negozio vende biscotti e l'Agente AI risponde di sì, il cliente potrebbe rispondere con "quanto costano?". Questa domanda non contiene informazioni sufficienti da sola, ma una domanda come "quanto costano i tuoi biscotti?" fornisce un contesto sufficiente per ottenere una parte significativa di informazioni.
Se a questo punto l'agente AI non è in grado di trovare alcuna corrispondenza pertinente alla domanda del cliente nei chunks del database, invia al cliente un messaggio in cui gli chiede di riformulare la domanda o inoltra la richiesta a un agente umano, piuttosto che tentare di generare una risposta e rischiare di fornire informazioni imprecise.
-
L'agente AI invia i tre pezzi del database più rilevanti per la domanda del cliente a GPT, che li assembla in una risposta. Poi, l'agente AI invia la risposta generata attraverso tre filtri:
-
Il filtro di sicurezza controlla che la risposta generata non contenga contenuti dannosi.
-
Il filtro di pertinenza controlla che la risposta generata risponda effettivamente alla domanda del cliente. Anche se le informazioni contenute nella risposta sono corrette, devono essere le informazioni che il cliente stava cercando per offrire un'esperienza positiva.
-
Il filtro Accuracy controlla che la risposta generata corrisponda al contenuto della tua base di conoscenze, in modo da verificare che la risposta dell'Agente AI sia vera.
-
-
Se la risposta generata supera questi tre filtri, l'Agente AI la invia al cliente.
Ti stai preparando a creare per la prima volta contenuti generati automaticamente dalla tua base di conoscenze? O forse stai solo cercando di affinare le tue conoscenze di base? Segui questi principi per rendere le informazioni della tua base di conoscenza facili da analizzare per il tuo agente AI, il che migliorerà le possibilità del tuo agente AI di fornire informazioni pertinenti e utili ai tuoi clienti.
Struttura le informazioni tenendoconto del cliente
Quando gestisci una base di conoscenza, può essere facile organizzare le informazioni in un modo che abbia senso per te, ma non per le persone che non hanno già familiarità con le informazioni contenute. Se osservi un nuovo cliente che cerca di navigare nella tua base di conoscenze, rimarrai quasi certamente sorpreso da ciò che fa! Se sei come la maggior parte delle persone che gestiscono basi di conoscenza, probabilmente non sei un principiante, il che significa che probabilmente non sei il tuo pubblico di riferimento.
Quindi, come puoi assicurarti che la tua base di conoscenze sia utile per i clienti e cosa ha a che fare con l'intelligenza artificiale? La risposta si riduce all'uso di titoli e intestazioni. Chiameremo questi segnali come collettivo, perché agiscono come segnali sia per gli esseri umani che per l'IA, per indicare quanto è probabile che un cliente si stia avvicinando alle informazioni che vuole raggiungere nella tua base di conoscenze. Inoltre, quando MessageMind™ ingerisce i contenuti della tua base di conoscenza, salva il titolo dell'argomento come contesto per ogni pezzo di informazione in cui divide la tua base di conoscenza. Quando le informazioni hanno un contesto adeguato, è meno probabile che l'agente AI fornisca informazioni irrilevanti ai clienti.
-
Suddividi le informazioni in gruppi che non si sovrappongono. In questo modo, sia i tuoi clienti umani che la tua AI avranno meno probabilità di sbagliare strada e di trovare informazioni non pertinenti a ciò che stanno cercando.
-
Fai in modo che ogni indicazione sia pertinente a tutte le informazioni che si trovano sotto di essa. Se in una voce ci sono informazioni che non sono pertinenti a quella voce, sia i clienti che l'IA potrebbero avere difficoltà a trovarle. Allo stesso modo, se l'intestazione è confusa o implica che sia seguita da informazioni che in realtà non ci sono, rende più difficile per i clienti e l'IA navigare nella tua base di conoscenze.
-
Organizza sempre le informazioni dal più ampio al più specifico. Dovrebbe essere facile per i clienti capire se si stanno avvicinando alle informazioni che stanno cercando seguendo le tue indicazioni.
-
Rendi descrittiva la tua segnaletica.
-
Orientare le indicazioni sugli obiettivi dei clienti. Molto probabilmente i clienti arrivano alla tua knowledge base o all'AI Agent in cerca di aiuto per un compito specifico, quindi è molto utile chiarire quali articoli riguardano quali compiti.
Come best practice, usa i verbi nelle tue indicazioni per rendere più facile per i clienti trovare le azioni che vogliono eseguire.
-
Per aiutare le persone e l'intelligenza artificiale a scansionare più facilmente i tuoi contenuti, metti i verbi e i vocaboli importanti più all'inizio delle tue indicazioni che alla fine.
-
Ovunque sia possibile, evita di menzionare concetti o terminologie che i nuovi clienti potrebbero non conoscere ancora. Una formulazione poco familiare rende più difficile il lavoro dei cartelli, perché sia i cittadini che i docenti universitari possono trovarli confusi.
-
Cerca di fare in modo che i clienti capiscano facilmente se sono i destinatari di un articolo solo leggendo le indicazioni. Nessun cliente vuole perdere tempo ad aprire articoli solo per scoprire che non sono pertinenti o leggere risposte irrilevanti.
-
-
Utilizza una struttura HTML adeguata per creare dei segnali. Potrebbe apparire altrettanto bene se evidenzi un testo, ne aumenti le dimensioni e lo rendi in grassetto, ma un modello di intelligenza artificiale potrebbe faticare a riconoscere che quella formattazione dovrebbe indicare un titolo. Utilizza invece i tag
<h1>
appropriati e così via. In questo modo la formattazione sarà molto più coerente e l'intelligenza artificiale potrà individuare la gerarchia delle informazioni. Inoltre, i tuoi clienti con problemi visivi possono navigare più facilmente tra i contenuti formattati correttamente, perché la loro tecnologia di assistenza (ad esempio, gli screen reader) è programmata per analizzare l'HTML. -
Non dare per scontato che i clienti leggano la tua base di conoscenze in ordine sparso. I clienti potrebbero trovare un articolo, o anche una sezione di un articolo, tramite un motore di ricerca e potrebbero sentirsi frustrati se le informazioni che vedono richiedono un contesto che non hanno. Allo stesso modo, se il tuo agente AI invia a un cliente informazioni senza contesto, anche questa può essere un'esperienza di chat frustrante. Assicurati di gettare le basi nei tuoi articoli più avanzati, in modo che tutti i tuoi clienti possano tornare indietro e ottenere maggiori informazioni se ne hanno bisogno.
Lo studio dell'organizzazione delle informazioni per facilitare la navigazione dei clienti si chiama architettura dell'informazione. Se sei interessato a maggiori informazioni, comprese le risorse su come eseguire dei test per verificare il funzionamento dell'organizzazione della tua base di conoscenza per i nuovi clienti, consulta l'Architettura dell'informazione: Guida allo studio sul sito web del Nielsen Norman Group.
Crea pezzi informativi scrivendocontenuti a sé stanti.
Quando un'intelligenza artificiale ingerisce i contenuti della tua base di conoscenza, suddivide le informazioni in pezzi. Poi, quando i clienti pongono delle domande al tuo agente AI, quest'ultimo cerca i pezzi che hanno un significato rilevante e li utilizza per creare delle risposte. Ecco alcuni modi per assicurarti che ogni pezzo abbia senso da solo:
-
Fornisci informazioni in frasi complete. Dato che l'agente AI inserisce le informazioni in pezzi, il modo migliore per assicurarsi che le informazioni abbiano un contesto completo è quello di fornire frasi complete.
Ad esempio, supponiamo che la tua knowledge base contenga una FAQ e che una delle domande sia "Posso pagare con carta di credito?". Invece di un semplice "Sì", che già di per sé non è utile, formulate la risposta come "Sì, puoi pagare con carta di credito".
-
Evita i riferimenti ad altri luoghi della tua base di conoscenza. Quando i clienti leggono i contenuti della tua knowledge base nel contesto di un Agente AI, non avranno un contesto per riferimenti come "Come hai visto nel nostro ultimo esempio". Evita questo tipo di riferimenti che fanno sentire i clienti come se si stessero perdendo delle informazioni.
Scrivi in modo chiaro e conciso
Ora che abbiamo parlato di come dovrebbero essere organizzate le tue informazioni, possiamo esaminare l'aspetto delle informazioni stesse. Più i tuoi contenuti sono semplici, più è facile per gli esseri umani e per l'intelligenza artificiale trovare le informazioni importanti di cui hanno bisogno.
-
Usa una terminologia chiara che non si sovrapponga. Più la tua terminologia è facile da seguire, più è probabile che un cliente o l'IA siano in grado di riconoscere se il contenuto è pertinente alla domanda del cliente.
Ad esempio, supponiamo che la tua azienda produca software per l'editoria musicale e che la tua base di conoscenze contenga informazioni sulla creazione di una demo. Ma la tua knowledge base potrebbe anche contenere informazioni su come i potenziali clienti possono contattare il tuo team di vendita per una demo del tuo software. La parola "demo" che significa due cose diverse nella tua base di conoscenze può creare confusione e far comparire risultati di ricerca non pertinenti. Se puoi, vedi se puoi sostituire un'istanza con un'altra parola, in modo che la parola "demo" abbia sempre un solo significato nella tua base di conoscenze.
-
Usa un linguaggio semplice. Ti è mai capitato di leggere una frase molto lunga e tortuosa e alla fine non eri sicuro di cosa l'autore stesse cercando di dire? Questo può accadere quando i clienti umani o un'intelligenza artificiale analizzano la tua base di conoscenze. Prenditi il tempo necessario per tagliare i contenuti superflui in modo che sia più facile individuare i punti di forza dei tuoi contenuti.
-
Riduci al minimo il ricorso a immagini e video. I contenuti generativi funzionano solo con il testo; il tuo Agente AI non può accedere alle immagini presenti nella tua base di conoscenze. Se hai dei contenuti in immagini, è una buona idea rivalutare se c'è un modo per fornire gli stessi contenuti in testo.
Un altro motivo per cui questa è una buona idea è l'accessibilità: i tuoi clienti con disabilità visive potrebbero non essere in grado di vedere le tue immagini o i tuoi video. Rendere disponibile il maggior numero possibile di testi, come ad esempio il testo alt o le trascrizioni, aiuta sia i clienti che chattano con il tuo Agente AI sia i clienti che accedono alla tua base di conoscenze utilizzando tecnologie assistive come gli screen reader.
-
Verifica il contenuto della tabella. Alcune tabelle funzionano meglio di altre con l'intelligenza artificiale; a volte l'intelligenza artificiale è in grado di analizzare le relazioni spaziali tra le celle, altre volte si confonde. Dopo aver configurato il tuo agente AI, verifica la sua capacità di fornire informazioni provenienti dalle tabelle della tua base di conoscenze. È probabile che le tabelle funzionino se sono formattate con un Markdown corretto, ma tieni presente che non funzioneranno se sono incorporate in immagini.
Prendidecisioni di manutenzione basate sui dati
È comune che i team di documentazione siano piccoli e che a volte fatichino a mantenere aggiornate intere basi di conoscenza. Se fai parte di un team di questo tipo, l'idea di affidare la tua base di conoscenze a un agente AI può sembrare scoraggiante. Non sei solo! Se questa situazione ti sembra familiare, è importante lavorare in modo più intelligente e non più difficile, seguendo alcune buone pratiche:
-
Raccogli dati analitici per la tua base di conoscenze. Ci sono molti modi per tracciare i dati di utilizzo della tua knowledge base, a seconda degli strumenti che utilizzi per realizzarla. I dati sull'utilizzo dei clienti sono spesso sorprendenti per le persone che utilizzano un prodotto per tutto il giorno: ecco perché è importante raccoglierli.
-
Decidi quali sono le metriche che indicano meglio il successo della tua base di conoscenze. Le metriche dei dati analitici possono essere complicate: le storie che raccontano sono spesso soggette a interpretazione.
Ad esempio, se i clienti tendono a dedicare solo 10 secondi a un argomento lungo, è perché tendono a cercare un'informazione cruciale nella parte superiore della pagina? In questo caso, probabilmente non c'è bisogno di cambiare nulla. Ma cosa succede se passano quel tempo a scansionare la pagina in cerca di informazioni che non ci sono e se ne vanno frustrati? In questo caso, probabilmente c'è qualcosa che puoi migliorare nel modo in cui è organizzata la tua base di conoscenze.
Non esiste una serie di metriche giuste o sbagliate su cui concentrarsi. È comune concentrarsi sugli argomenti più visualizzati o su quelli che hanno il maggior numero di recensioni positive o negative da parte dei clienti, ma in definitiva spetta a te e alla tua organizzazione scegliere come misurare il successo della tua knowledge base. La strategia può cambiare nel tempo, ma dovresti avere dei dati a cui fare riferimento.
-
Dai priorità alle revisioni dei contenuti in base ai dati raccolti. Dopo aver raccolto i dati di utilizzo dei clienti, inizia a esaminarli. Riesci a trovare degli schemi sui tipi di contenuti verso i quali i clienti sembrano gravitare, o altri contenuti che i clienti non toccano affatto? Utilizzando i dati di utilizzo, inizia a creare un elenco di priorità per gli argomenti più importanti e assicurati che siano curati.
-
Puoi sempre disabilitare gli articoli dalla pagina della Conoscenza. Se sai che un argomento è obsoleto, ma è troppo in basso nella tua lista di priorità per essere affrontato subito, puoi disabilitare la sua visualizzazione nei contenuti generativi. In questo modo, puoi evitare che nel tuo Agente AI compaiano informazioni imprecise, senza ritardare il lancio. In futuro, quando avrai la possibilità di aggiornare l'argomento, potrai abilitarlo di nuovo.
-
Rivedi i tuoi dati con regolarità. Dopo aver collegato la tua base di conoscenze all'Agente AI, avrai ancora più dati di utilizzo dei tuoi clienti da analizzare. Quando rivedi i tuoi dati, puoi verificare il successo delle tue decisioni precedenti e modificare le tue priorità di conseguenza.
-
Utilizza gli strumenti di reporting di MessageMind. Nella dashboard di MessageMind™ puoi vedere report di alto livello sul tasso di risoluzione automatica dell'Agente AI e approfondire le singole conversazioni per vedere come si è comportato l'Agente AI. Una volta che il tuo Agente AI è rivolto ai clienti, avrai ancora più informazioni su come la tua base di conoscenze sta servendo i tuoi clienti attraverso l'AI generativa.
Se hai appena iniziato e non disponi ancora di analisi, considera la possibilità di dare priorità ad alcune aree chiave del tuo prodotto da esaminare per prime, e poi parti da lì. Non è necessario avere subito un piano perfetto per la raccolta dei dati analitici! L'importante è che alla fine tu abbia un sistema che ti permetta di raccogliere e analizzare i dati di utilizzo.
Migliora i contenuti della tua knowledge base neltempo
Cosa fai una volta che hai i dati dei clienti? Usalo tu! Ecco alcuni consigli:
-
Mantieni la manutenzione regolare. Man mano che il tuo prodotto cambia, cambia anche la tua documentazione e le domande dei tuoi clienti. Metti da parte un tempo di manutenzione regolare per dare un'occhiata ai rapporti e alle trascrizioni delle conversazioni del tuo Agente AI, in modo da poter individuare le opportunità per migliorare la tua base di conoscenze e far sì che il tuo Agente AI funzioni ancora meglio per i clienti futuri.
-
Mantieni stretti i cicli di feedback. Se vedi l'opportunità di migliorare la tua base di conoscenze per poter migliorare il tuo Agente AI, fai subito quel cambiamento, in modo da migliorare subito le prestazioni del tuo Agente AI.
Con il tempo, grazie alle informazioni sul modo in cui i tuoi clienti interagiscono con l'Agente AI, sarai in grado di stabilire un flusso di lavoro in cui potrai migliorare sia la tua base di conoscenze che l'Agente AI contemporaneamente.
Before you begin
Before working on your AI Agent, get some background information on generative content and MessageMind's resolution engine.
When you've used a chatbot in the past, you've probably thought of it as slow or difficult to use. The majority of bots out there aren't great at understanding what your customers want, or knowing how to respond or take actions like a human agent would.
By combining the information in your knowledge base with cutting-edge AI, you don't just have a chatbot with MessageMind™ - you have a generative AI Agent, designed to perform tasks that human agents have previously only been able to do.
This guide will take you through MessageMind™’s technology that we use to make the customer experience with an AI Agent different from any chatbot you've used before.
Understand Large Language Models (LLMs) and Generative AI
The secret behind how your AI Agent both understands and writes messages is in the AI, or artificial intelligence, that MessageMind™ uses behind the scenes. Broadly, AI is a range of complex computer programs designed to solve problems like humans. It can address a variety of situations and incorporate a variety of types of data; in your AI Agent's case, it focuses on analyzing language to connect customers with answers.
When a customer interacts with your AI Agent, your AI Agent uses Large Language Models, or LLMs, which are computer programs trained on large amounts of text, to identify what the customer is asking for. Based on the patterns the LLM identified in the text data, an LLM can analyze a question from a customer and determine the intent behind it. Then, it can analyze information from your knowledge base and determine whether the meaning behind it matches what the customer is looking for.
Generative AI is a type of LLM that uses its analysis of existing content to create new content: it builds sentences word by word, based on which words are most likely to follow the ones it has already chosen. Using generative AI, your AI Agent constructs responses based on pieces of your knowledge base that contain the information the customer is looking for, and phrases them in a natural-sounding and conversational way.
Understand your AI Agent's Content Filters
LLM training data can contain harmful or undesirable content, and generative AI can sometimes generate details that aren't true, which are called hallucinations. To combat these issues, your AI Agent uses an additional set of models to ensure the quality of its responses.
Before sending any generated response to your customer, your AI Agent checks to make sure the response is:
- Safe: The response doesn't contain any harmful content.
- Relevant: The response actually answers the customer's question. Even if the information in the response is correct, it has to be the information the customer was looking for in order to give the customer a positive experience.
- Accurate: The response matches the content in your knowledge base, so your AI Agent can double-check that its response is true.
With these checks in place, you can feel confident that your AI Agent has not only made sound decisions in how to help your customer, but has also sent them high-quality responses.
Understand MessageMind™’s Reasoning Engine
Your AI Agent runs on a sophisticated Reasoning Engine MessageMind™ created to provide customers with the knowledge and solutions they need.
When customers ask your AI Agent a question, it takes into account the following when deciding what to do next:
- Conversation context: Does the conversation before the current question contain context that would help your AI Agent better answer the question?
- Knowledge base: Does the knowledge base contain the information the customer is looking for?
- Business systems: Are there any Actions configured with your AI Agent designed to let it fetch the information the customer is looking for?
From there, it decides how to respond to the customer:
- Follow-up question: If your AI Agent needs more information to help the customer, it can ask for more information.
- Knowledge base: If the answer to the customer's inquiry is in the knowledge base, it can obtain that information and use it to write a response.
- Business systems: If the answer to the customer's inquiry is available using one of the Actions configured in your AI Agent, your AI Agent can fetch that information by making an API call.
- Handoff: If your AI Agent is otherwise unable to respond to the customer's request, it can hand the customer off to a human agent for further assistance.
Together, the mechanism that makes these complex decisions on how to help the customer is called MessageMind™’s Reasoning Engine. Just like when a human agent makes decisions about how to help a customer based on what they know about what the customer wants, the Reasoning Engine takes into account a variety of information to figure out how to resolve the customer's inquiry as effectively as possible.
Understand How Your AI Agent Prevents Prompt Injections
Many AI chatbots are vulnerable to prompt injections or jailbreaking, which are prompts that get the chatbot to provide information that it shouldn't - for example, information that is confidential or unsafe.
The reasoning engine behind MessageMind™’s AI Agents is structured in such a way as to make adversarial LLM attacks very difficult to succeed. Specifically, it has:
- A series of AI subsystems interacting together, each of which modifies the context surrounding a customer's message.
- Several prompt instructions that make the task to be performed very clear, directing the AI Agent to not share inner workings and instructions, and to redirect conversations away from casual chitchat.
- Models that aim to detect and filter out harmful content in inputs or outputs.
With state-of-the-art generative AI testing prior to new deployments, MessageMind™ ensures a secure and effective customer interaction experience.
When you connect your AI Agent to your knowledge base and start to serve automatically generated content to your customers, it might feel like magic. But it's not! This topic takes you through what happens behind the scenes when you start serving knowledge base content to customers.
How MessageMind™ ingests your knowledge base
When you link your knowledge base to your AI Agent, your AI Agent copies down all of your knowledge base content, so it can quickly search through it and serve relevant information from it. Here's how it happens:
-
When you link your AI Agent with your knowledge base, your AI Agent imports all of your knowledge base content.
Depending on the tools you use to create and host your knowledge base, your knowledge base then updates with different frequencies:
-
If your knowledge base is in Zendesk or Salesforce, your AI Agent checks back for updates every 15 minutes.
- If your AI Agent hasn't had any conversations, either immediately after you linked it with your knowledge base or in the last 30 days, your AI Agent pauses syncing. To trigger a sync with your knowledge base, have a test conversation with your AI Agent.
-
If your knowledge base is hosted elsewhere, you or your MessageMind™ team have to build an integration to scrape it and upload content to MessageMind's Knowledge API. If this is the case, the frequency of updates depends on the integration.
-
-
Your AI Agent splits your articles into chunks, so it doesn't have to search through long articles each time it looks for information - it can just look at the shorter chunks instead.
While each article can cover a variety of related concepts, each chunk should only cover one key concept. Additionally, your AI Agent includes context for each chunk; each chunk contains the headings that preceded it.
-
Your AI Agent sends each chunk to a Large Language Model (LLM), which it uses to assign the chunks numerical representations that correspond to the meaning of each chunk. These numerical values are called embeddings, and it saves them into a database.
The database is then ready to provide information for GPT to put together into natural-sounding responses to customer questions.
How MessageMind™ creates responses from knowledge base content
After saving your knowledge base content into a database, your AI Agent is ready to provide content from it to answer your customers' questions. Here's how it does that:
-
Your AI Agent sends the customer's query to the LLM, so it can get an embedding (a numerical value) that corresponds with the information the customer was asking for.
Before proceeding, the AI Agent sends the content through a moderation check via the LLM to see if the customer's question was inappropriate or toxic. If it was, your AI Agent rejects the query and doesn't continue with the answer generation process.
-
Your AI Agent then compares embeddings between the customer's question and the chunks in its database, to see if it can find relevant chunks that match the meaning of the customer's question. This process is called retrieval.
Your AI Agent looks for the best match in meaning in the database to what the customer asked for, which is called semantic similarity, and saves the top three most relevant chunks.
If the customer's question is a follow-up to a previous question, your AI Agent might get the LLM to rewrite the customer's question to include context to increase the chances of getting relevant chunks. For example, if a customer asks your AI Agent whether your store sells cookies, and your AI Agent says yes, your customer may respond with "how much are they?" That question doesn't have enough information on its own, but a question like "how much are your cookies?" provides enough context to get a meaningful chunk of information back.
If your AI Agent isn't able to find any relevant matches to the customer's question in the database's chunks at this point, it serves the customer a message asking them to rephrase their question or escalates the query to a human agent, rather than attempting to generate a response and risking serving inaccurate information.
-
Your AI Agent sends the three chunks from the database that are the most relevant to the customer's question to GPT to stitch together into a response. Then, your AI Agent sends the generated response through three filters:
-
The Safety filter checks to make sure that the generated response doesn't contain any harmful content.
-
The Relevance filter checks to make sure that the generated response actually answers the customer's question. Even if the information in the response is correct, it has to be the information the customer was looking for in order to give the customer a positive experience.
-
The Accuracy filter checks to make sure that the generated response matches the content in your knowledge base, so it can verify that the AI Agent's response is true.
-
-
If the generated response passes these three filters, your AI Agent serves it to the customer.
Getting ready to create automatically generated content from your knowledge base for the first time? Or maybe you're just looking to tune up your knowledge base? Follow these principles to make the information in your knowledge base easy for your AI Agent to parse, which will improve your AI Agent's chances of serving up relevant and helpful information to your customers.
Structure information with your customer in mind
When you're maintaining a knowledge base, it can be easy to organize information in a way that makes sense to you, but not to people who aren't familiar with the information in it already. If you watch a new customer trying to navigate your knowledge base, you'll almost certainly be surprised at what they do! If you're like most people who maintain knowledge bases, you probably aren't a beginner, which means that you likely aren't your own target audience.
So how can you make sure your knowledge base is useful for customers, and what does that have to do with AI? The answer here comes down to using titles and headings. We'll call these signposts as a collective, because they act as signposts for both humans and AI, to indicate how likely it is that a customer is getting closer to the information they want to get to in your knowledge base. Additionally, when MessageMind™ ingests your knowledge base content, it saves the topic title as context for each chunk of information it splits your knowledge base into. When information has proper context, it's less likely that your AI Agent will serve irrelevant information to customers.
-
Categorize your information into groups that don't overlap. That way, both your human customers and your AI are less likely to make a wrong turn and find information that isn't relevant to what they're looking for.
-
Make every signpost relevant to all of the information under it. If there's information under a heading that isn't relevant to that heading, both customers and AI might have trouble finding that information. Similarly, if the heading is confusing or implies that it's followed by information that isn't actually there, it makes it harder for customers and AI to navigate your knowledge base.
-
Always organize information from most broad to most specific. It should be easy for customers to figure out whether they're getting closer to the information they're looking for by following your signposts.
-
Make your signposts descriptive.
-
Orient signposts around customer objectives. Most likely, customers are coming to your knowledge base or AI Agent looking for help with a specific task, so making it clear which articles are about which tasks is very helpful.
As a best practice, use verbs in your signposts to make it easier for customers to find the actions they want to perform.
-
To help people and AI scan your content more easily, put important verbs and vocabulary closer to the front of your signposts than to the end.
-
Wherever you can, avoid mentioning concepts or terminology that new customers might not be familiar with yet. Unfamiliar wording makes it harder for signposts to do their job, because both people and LLMs can find them confusing.
-
Try to make it easy for customers to figure out whether they're the intended audience for an article just from reading the signposts. No customer wants to waste their time opening articles just to find that they're not relevant, or reading irrelevant responses.
-
-
Use proper HTML structure to create signposts. It might look just as good if you highlight some text, increase the size, and make it bold, but an AI model might struggle to recognize that that formatting is supposed to indicate a heading. Instead, use the appropriate
<h1>
tags, and so on. When you do, your formatting will be much more consistent, and AI can pick out the hierarchy your information is in. Additionally, your customers who have visual impairments can navigate properly formatted content more easily, because their assistive technology (e.g., screen readers) are programmed to parse HTML. -
Don't assume that customers are going to read your knowledge base in order. Customers might find an article, or even a section of an article, via a search engine, and might get frustrated if the information they see requires a lot of context they don't have. Likewise, if your AI Agent sends a customer information without context, that can be a frustrating chat experience too. Make sure you lay some groundwork in your more advanced articles so all of your customers can go back and get more information if they need to.
The study of organizing information to aid customer navigation is called information architecture. If you're interested in more information, including resources on how to perform tests to see how your knowledge base organization works for new customers, see Information Architecture: Study Guide at the Nielsen Norman Group's website.
Create informative chunks by writing standalone content
When an AI ingests the content in your knowledge base, it breaks the information up into chunks. Then, when customers ask your AI Agent questions, your AI Agent searches for chunks that have relevant meanings and uses them to create responses. Here are some ways you can ensure each chunk makes sense on its own:
-
Provide information in full sentences. Because your AI Agent puts information into chunks, the best way to make sure your information has full context is to provide full sentences.
For example, let's say your knowledge base contains a FAQ, and one of your questions is "Can I pay by credit card?" Instead of a simple "Yes," which isn't helpful on its own, phrase the answer as "Yes, you can pay by credit card."
-
Avoid references to other locations in your knowledge base. When customers are reading your knowledge base content in the context of a AI Agent, they won't have context for references like "As you saw in our last example." Avoid these kinds of references that make customers feel like they're missing out on information.
Write clearly and concisely
Now that we've talked about how your information should be organized, we can look at what the information itself should look like. The simpler your content is, the easier it is for both humans and AI to find the important pieces of information they need.
-
Use clear terminology that doesn't overlap. The easier your terminology is to follow, the more likely it is that a customer or AI can recognize whether content is relevant to a customer's question.
For example, let's say your company makes music publishing software, and your knowledge base has some information about making a demo. But your knowledge base might also have information about how prospective customers can contact your Sales team for a demo of your software. The word "demo" meaning two different things in your knowledge base can cause confusion and cause irrelevant search results to come up. If you can, see if you can replace one instance with a different word, so the word "demo" consistently means only one thing in your knowledge base.
-
Use simple language. Have you ever read a really long, meandering sentence, and by the end weren't really sure what the author was trying to say? This can happen when either human customers or an AI are parsing your knowledge base. Take the time to cut unnecessary content so it's easier to pick out the takeaways from your content.
-
Minimize your reliance on images and videos. Generative content only works with text; your AI Agent can't access images in your knowledge base. If you have content in images, it's a good idea to re-evaluate if there's a way to provide that same content in text.
Another reason this is a good idea is for accessibility: your customers who have visual disabilities may not be able to see your images or videos. Making as much text available in text as possible, like in alt text or transcripts, helps both customers chatting with your AI Agent and your customers who access your knowledge base using assistive technology like screen readers.
-
Verify your table content. Some tables work better than others with AI; sometimes AI is able to parse the spatial relationships between cells, and sometimes it gets confused. After setting up your AI Agent, test its ability to provide information that comes from tables in your knowledge base. Your tables are likely to work if they're formatted using proper Markdown, but note that they won't work if they're embedded in images.
Make data-driven maintenance decisions
It's common for documentation teams to be small and sometimes struggle with keeping entire knowledge bases up to date. If you're on a team like that, the idea of turning over your knowledge base to an AI Agent can feel daunting. You're not alone! If this situation feels familiar to you, it's important to work smarter and not harder by following some best practices:
-
Collect analytics data for your knowledge base. There are lots of ways to track usage data for your knowledge base, depending on the tools you use to make it. Customer usage data is often surprising to people who spend all day using a product - that's why it's important to collect it.
-
Decide which metrics best indicate success for your knowledge base. The metrics in your analytics data can be tricky: the stories they tell are often up to interpretation.
For example, if customers only tend to spend 10 seconds on a long topic, is it because they tend to be looking for a crucial piece of information near the top of the page? If that's the case, you probably don't need to change anything. But what if they're spending that time scanning through the page for information that isn't there and leaving in frustration? In that case, there's probably something you can improve about the way your knowledge base is organized.
There's no right or wrong set of metrics to focus on. It's common to focus on the topics that are most commonly viewed, or topics that have the most positive or negative reviews from customers, but ultimately it's up to you and your organization to choose how to measure the success of your knowledge base. That strategy can change over time, but you should have some data that you can refer back to.
-
Prioritize content reviews based on the data you collect. After collecting some customer usage data, start to go through it. Can you find patterns about the kinds of content that customers seemed to gravitate towards, or other content that customers didn't touch at all? Using your usage data, start creating a priority list for important topics to make sure they're polished.
-
You can always disable articles from the Knowledge page. If you know that a topic is out of date, but it's too low on your priority list to get to right away, you can disable it from showing up in generative content. That way, you can prevent inaccurate information from appearing in your AI Agent, without delaying your launch. In the future, when you do get a chance to update that topic, you can enable it again.
-
Revisit your data on a regular basis. After connecting your knowledge base to your AI Agent, you'll have even more usage data from your customers to analyze. When you revisit your data, you can test the success of your prior decisions and adjust your priorities accordingly.
-
Make use of MessageMind's reporting tools. On your MessageMind™ dashboard, you can see high-level reports on your AI Agent's automated resolution rate, and dig deeper into individual conversations to see how your AI Agent performed. Once your AI Agent is customer-facing, you'll have even more information on how your knowledge base is serving your customers through generative AI.
If you're just getting started and don't have analytics yet, consider prioritizing a few key areas of your product to review first, and go from there. You don't have to have a perfect plan for collecting analytics data right away! The important thing is that you eventually have a system where you can both collect and analyze usage data.
Improve your knowledge base content over time
What do you do once you have customer data? You use it! Here are a few tips:
-
Keep maintenance regular. As your product changes, so will your documentation, and so will your customers' questions. Set aside regular maintenance time to take a look at your AI Agent's reports and conversation transcripts, so you can pick out opportunities to improve your knowledge base and have your AI Agent performing even better for future customers.
-
Keep feedback loops tight. If you see an opportunity to improve your knowledge base so you can improve your AI Agent, make that change right away, so you can improve your AI Agent's performance right away.
Over time, with the information about how your customers interact with your AI Agent, you'll be able to settle into a workflow where you can improve both your knowledge base and your AI Agent all at once.
Before you begin
Before working on your AI Agent, get some background information on generative content and MessageMind's resolution engine.
When you've used a chatbot in the past, you've probably thought of it as slow or difficult to use. The majority of bots out there aren't great at understanding what your customers want, or knowing how to respond or take actions like a human agent would.
By combining the information in your knowledge base with cutting-edge AI, you don't just have a chatbot with MessageMind™ - you have a generative AI Agent, designed to perform tasks that human agents have previously only been able to do.
This guide will take you through MessageMind™’s technology that we use to make the customer experience with an AI Agent different from any chatbot you've used before.
Understand Large Language Models (LLMs) and Generative AI
The secret behind how your AI Agent both understands and writes messages is in the AI, or artificial intelligence, that MessageMind™ uses behind the scenes. Broadly, AI is a range of complex computer programs designed to solve problems like humans. It can address a variety of situations and incorporate a variety of types of data; in your AI Agent's case, it focuses on analyzing language to connect customers with answers.
When a customer interacts with your AI Agent, your AI Agent uses Large Language Models, or LLMs, which are computer programs trained on large amounts of text, to identify what the customer is asking for. Based on the patterns the LLM identified in the text data, an LLM can analyze a question from a customer and determine the intent behind it. Then, it can analyze information from your knowledge base and determine whether the meaning behind it matches what the customer is looking for.
Generative AI is a type of LLM that uses its analysis of existing content to create new content: it builds sentences word by word, based on which words are most likely to follow the ones it has already chosen. Using generative AI, your AI Agent constructs responses based on pieces of your knowledge base that contain the information the customer is looking for, and phrases them in a natural-sounding and conversational way.
Understand your AI Agent's Content Filters
LLM training data can contain harmful or undesirable content, and generative AI can sometimes generate details that aren't true, which are called hallucinations. To combat these issues, your AI Agent uses an additional set of models to ensure the quality of its responses.
Before sending any generated response to your customer, your AI Agent checks to make sure the response is:
- Safe: The response doesn't contain any harmful content.
- Relevant: The response actually answers the customer's question. Even if the information in the response is correct, it has to be the information the customer was looking for in order to give the customer a positive experience.
- Accurate: The response matches the content in your knowledge base, so your AI Agent can double-check that its response is true.
With these checks in place, you can feel confident that your AI Agent has not only made sound decisions in how to help your customer, but has also sent them high-quality responses.
Understand MessageMind™’s Reasoning Engine
Your AI Agent runs on a sophisticated Reasoning Engine MessageMind™ created to provide customers with the knowledge and solutions they need.
When customers ask your AI Agent a question, it takes into account the following when deciding what to do next:
- Conversation context: Does the conversation before the current question contain context that would help your AI Agent better answer the question?
- Knowledge base: Does the knowledge base contain the information the customer is looking for?
- Business systems: Are there any Actions configured with your AI Agent designed to let it fetch the information the customer is looking for?
From there, it decides how to respond to the customer:
- Follow-up question: If your AI Agent needs more information to help the customer, it can ask for more information.
- Knowledge base: If the answer to the customer's inquiry is in the knowledge base, it can obtain that information and use it to write a response.
- Business systems: If the answer to the customer's inquiry is available using one of the Actions configured in your AI Agent, your AI Agent can fetch that information by making an API call.
- Handoff: If your AI Agent is otherwise unable to respond to the customer's request, it can hand the customer off to a human agent for further assistance.
Together, the mechanism that makes these complex decisions on how to help the customer is called MessageMind™’s Reasoning Engine. Just like when a human agent makes decisions about how to help a customer based on what they know about what the customer wants, the Reasoning Engine takes into account a variety of information to figure out how to resolve the customer's inquiry as effectively as possible.
Understand How Your AI Agent Prevents Prompt Injections
Many AI chatbots are vulnerable to prompt injections or jailbreaking, which are prompts that get the chatbot to provide information that it shouldn't - for example, information that is confidential or unsafe.
The reasoning engine behind MessageMind™’s AI Agents is structured in such a way as to make adversarial LLM attacks very difficult to succeed. Specifically, it has:
- A series of AI subsystems interacting together, each of which modifies the context surrounding a customer's message.
- Several prompt instructions that make the task to be performed very clear, directing the AI Agent to not share inner workings and instructions, and to redirect conversations away from casual chitchat.
- Models that aim to detect and filter out harmful content in inputs or outputs.
With state-of-the-art generative AI testing prior to new deployments, MessageMind™ ensures a secure and effective customer interaction experience.
When you connect your AI Agent to your knowledge base and start to serve automatically generated content to your customers, it might feel like magic. But it's not! This topic takes you through what happens behind the scenes when you start serving knowledge base content to customers.
How MessageMind™ ingests your knowledge base
When you link your knowledge base to your AI Agent, your AI Agent copies down all of your knowledge base content, so it can quickly search through it and serve relevant information from it. Here's how it happens:
-
When you link your AI Agent with your knowledge base, your AI Agent imports all of your knowledge base content.
Depending on the tools you use to create and host your knowledge base, your knowledge base then updates with different frequencies:
-
If your knowledge base is in Zendesk or Salesforce, your AI Agent checks back for updates every 15 minutes.
- If your AI Agent hasn't had any conversations, either immediately after you linked it with your knowledge base or in the last 30 days, your AI Agent pauses syncing. To trigger a sync with your knowledge base, have a test conversation with your AI Agent.
-
If your knowledge base is hosted elsewhere, you or your MessageMind™ team have to build an integration to scrape it and upload content to MessageMind's Knowledge API. If this is the case, the frequency of updates depends on the integration.
-
-
Your AI Agent splits your articles into chunks, so it doesn't have to search through long articles each time it looks for information - it can just look at the shorter chunks instead.
While each article can cover a variety of related concepts, each chunk should only cover one key concept. Additionally, your AI Agent includes context for each chunk; each chunk contains the headings that preceded it.
-
Your AI Agent sends each chunk to a Large Language Model (LLM), which it uses to assign the chunks numerical representations that correspond to the meaning of each chunk. These numerical values are called embeddings, and it saves them into a database.
The database is then ready to provide information for GPT to put together into natural-sounding responses to customer questions.
How MessageMind™ creates responses from knowledge base content
After saving your knowledge base content into a database, your AI Agent is ready to provide content from it to answer your customers' questions. Here's how it does that:
-
Your AI Agent sends the customer's query to the LLM, so it can get an embedding (a numerical value) that corresponds with the information the customer was asking for.
Before proceeding, the AI Agent sends the content through a moderation check via the LLM to see if the customer's question was inappropriate or toxic. If it was, your AI Agent rejects the query and doesn't continue with the answer generation process.
-
Your AI Agent then compares embeddings between the customer's question and the chunks in its database, to see if it can find relevant chunks that match the meaning of the customer's question. This process is called retrieval.
Your AI Agent looks for the best match in meaning in the database to what the customer asked for, which is called semantic similarity, and saves the top three most relevant chunks.
If the customer's question is a follow-up to a previous question, your AI Agent might get the LLM to rewrite the customer's question to include context to increase the chances of getting relevant chunks. For example, if a customer asks your AI Agent whether your store sells cookies, and your AI Agent says yes, your customer may respond with "how much are they?" That question doesn't have enough information on its own, but a question like "how much are your cookies?" provides enough context to get a meaningful chunk of information back.
If your AI Agent isn't able to find any relevant matches to the customer's question in the database's chunks at this point, it serves the customer a message asking them to rephrase their question or escalates the query to a human agent, rather than attempting to generate a response and risking serving inaccurate information.
-
Your AI Agent sends the three chunks from the database that are the most relevant to the customer's question to GPT to stitch together into a response. Then, your AI Agent sends the generated response through three filters:
-
The Safety filter checks to make sure that the generated response doesn't contain any harmful content.
-
The Relevance filter checks to make sure that the generated response actually answers the customer's question. Even if the information in the response is correct, it has to be the information the customer was looking for in order to give the customer a positive experience.
-
The Accuracy filter checks to make sure that the generated response matches the content in your knowledge base, so it can verify that the AI Agent's response is true.
-
-
If the generated response passes these three filters, your AI Agent serves it to the customer.
Getting ready to create automatically generated content from your knowledge base for the first time? Or maybe you're just looking to tune up your knowledge base? Follow these principles to make the information in your knowledge base easy for your AI Agent to parse, which will improve your AI Agent's chances of serving up relevant and helpful information to your customers.
Structure information with your customer in mind
When you're maintaining a knowledge base, it can be easy to organize information in a way that makes sense to you, but not to people who aren't familiar with the information in it already. If you watch a new customer trying to navigate your knowledge base, you'll almost certainly be surprised at what they do! If you're like most people who maintain knowledge bases, you probably aren't a beginner, which means that you likely aren't your own target audience.
So how can you make sure your knowledge base is useful for customers, and what does that have to do with AI? The answer here comes down to using titles and headings. We'll call these signposts as a collective, because they act as signposts for both humans and AI, to indicate how likely it is that a customer is getting closer to the information they want to get to in your knowledge base. Additionally, when MessageMind™ ingests your knowledge base content, it saves the topic title as context for each chunk of information it splits your knowledge base into. When information has proper context, it's less likely that your AI Agent will serve irrelevant information to customers.
-
Categorize your information into groups that don't overlap. That way, both your human customers and your AI are less likely to make a wrong turn and find information that isn't relevant to what they're looking for.
-
Make every signpost relevant to all of the information under it. If there's information under a heading that isn't relevant to that heading, both customers and AI might have trouble finding that information. Similarly, if the heading is confusing or implies that it's followed by information that isn't actually there, it makes it harder for customers and AI to navigate your knowledge base.
-
Always organize information from most broad to most specific. It should be easy for customers to figure out whether they're getting closer to the information they're looking for by following your signposts.
-
Make your signposts descriptive.
-
Orient signposts around customer objectives. Most likely, customers are coming to your knowledge base or AI Agent looking for help with a specific task, so making it clear which articles are about which tasks is very helpful.
As a best practice, use verbs in your signposts to make it easier for customers to find the actions they want to perform.
-
To help people and AI scan your content more easily, put important verbs and vocabulary closer to the front of your signposts than to the end.
-
Wherever you can, avoid mentioning concepts or terminology that new customers might not be familiar with yet. Unfamiliar wording makes it harder for signposts to do their job, because both people and LLMs can find them confusing.
-
Try to make it easy for customers to figure out whether they're the intended audience for an article just from reading the signposts. No customer wants to waste their time opening articles just to find that they're not relevant, or reading irrelevant responses.
-
-
Use proper HTML structure to create signposts. It might look just as good if you highlight some text, increase the size, and make it bold, but an AI model might struggle to recognize that that formatting is supposed to indicate a heading. Instead, use the appropriate
<h1>
tags, and so on. When you do, your formatting will be much more consistent, and AI can pick out the hierarchy your information is in. Additionally, your customers who have visual impairments can navigate properly formatted content more easily, because their assistive technology (e.g., screen readers) are programmed to parse HTML. -
Don't assume that customers are going to read your knowledge base in order. Customers might find an article, or even a section of an article, via a search engine, and might get frustrated if the information they see requires a lot of context they don't have. Likewise, if your AI Agent sends a customer information without context, that can be a frustrating chat experience too. Make sure you lay some groundwork in your more advanced articles so all of your customers can go back and get more information if they need to.
The study of organizing information to aid customer navigation is called information architecture. If you're interested in more information, including resources on how to perform tests to see how your knowledge base organization works for new customers, see Information Architecture: Study Guide at the Nielsen Norman Group's website.
Create informative chunks by writing standalone content
When an AI ingests the content in your knowledge base, it breaks the information up into chunks. Then, when customers ask your AI Agent questions, your AI Agent searches for chunks that have relevant meanings and uses them to create responses. Here are some ways you can ensure each chunk makes sense on its own:
-
Provide information in full sentences. Because your AI Agent puts information into chunks, the best way to make sure your information has full context is to provide full sentences.
For example, let's say your knowledge base contains a FAQ, and one of your questions is "Can I pay by credit card?" Instead of a simple "Yes," which isn't helpful on its own, phrase the answer as "Yes, you can pay by credit card."
-
Avoid references to other locations in your knowledge base. When customers are reading your knowledge base content in the context of a AI Agent, they won't have context for references like "As you saw in our last example." Avoid these kinds of references that make customers feel like they're missing out on information.
Write clearly and concisely
Now that we've talked about how your information should be organized, we can look at what the information itself should look like. The simpler your content is, the easier it is for both humans and AI to find the important pieces of information they need.
-
Use clear terminology that doesn't overlap. The easier your terminology is to follow, the more likely it is that a customer or AI can recognize whether content is relevant to a customer's question.
For example, let's say your company makes music publishing software, and your knowledge base has some information about making a demo. But your knowledge base might also have information about how prospective customers can contact your Sales team for a demo of your software. The word "demo" meaning two different things in your knowledge base can cause confusion and cause irrelevant search results to come up. If you can, see if you can replace one instance with a different word, so the word "demo" consistently means only one thing in your knowledge base.
-
Use simple language. Have you ever read a really long, meandering sentence, and by the end weren't really sure what the author was trying to say? This can happen when either human customers or an AI are parsing your knowledge base. Take the time to cut unnecessary content so it's easier to pick out the takeaways from your content.
-
Minimize your reliance on images and videos. Generative content only works with text; your AI Agent can't access images in your knowledge base. If you have content in images, it's a good idea to re-evaluate if there's a way to provide that same content in text.
Another reason this is a good idea is for accessibility: your customers who have visual disabilities may not be able to see your images or videos. Making as much text available in text as possible, like in alt text or transcripts, helps both customers chatting with your AI Agent and your customers who access your knowledge base using assistive technology like screen readers.
-
Verify your table content. Some tables work better than others with AI; sometimes AI is able to parse the spatial relationships between cells, and sometimes it gets confused. After setting up your AI Agent, test its ability to provide information that comes from tables in your knowledge base. Your tables are likely to work if they're formatted using proper Markdown, but note that they won't work if they're embedded in images.
Make data-driven maintenance decisions
It's common for documentation teams to be small and sometimes struggle with keeping entire knowledge bases up to date. If you're on a team like that, the idea of turning over your knowledge base to an AI Agent can feel daunting. You're not alone! If this situation feels familiar to you, it's important to work smarter and not harder by following some best practices:
-
Collect analytics data for your knowledge base. There are lots of ways to track usage data for your knowledge base, depending on the tools you use to make it. Customer usage data is often surprising to people who spend all day using a product - that's why it's important to collect it.
-
Decide which metrics best indicate success for your knowledge base. The metrics in your analytics data can be tricky: the stories they tell are often up to interpretation.
For example, if customers only tend to spend 10 seconds on a long topic, is it because they tend to be looking for a crucial piece of information near the top of the page? If that's the case, you probably don't need to change anything. But what if they're spending that time scanning through the page for information that isn't there and leaving in frustration? In that case, there's probably something you can improve about the way your knowledge base is organized.
There's no right or wrong set of metrics to focus on. It's common to focus on the topics that are most commonly viewed, or topics that have the most positive or negative reviews from customers, but ultimately it's up to you and your organization to choose how to measure the success of your knowledge base. That strategy can change over time, but you should have some data that you can refer back to.
-
Prioritize content reviews based on the data you collect. After collecting some customer usage data, start to go through it. Can you find patterns about the kinds of content that customers seemed to gravitate towards, or other content that customers didn't touch at all? Using your usage data, start creating a priority list for important topics to make sure they're polished.
-
You can always disable articles from the Knowledge page. If you know that a topic is out of date, but it's too low on your priority list to get to right away, you can disable it from showing up in generative content. That way, you can prevent inaccurate information from appearing in your AI Agent, without delaying your launch. In the future, when you do get a chance to update that topic, you can enable it again.
-
Revisit your data on a regular basis. After connecting your knowledge base to your AI Agent, you'll have even more usage data from your customers to analyze. When you revisit your data, you can test the success of your prior decisions and adjust your priorities accordingly.
-
Make use of MessageMind's reporting tools. On your MessageMind™ dashboard, you can see high-level reports on your AI Agent's automated resolution rate, and dig deeper into individual conversations to see how your AI Agent performed. Once your AI Agent is customer-facing, you'll have even more information on how your knowledge base is serving your customers through generative AI.
If you're just getting started and don't have analytics yet, consider prioritizing a few key areas of your product to review first, and go from there. You don't have to have a perfect plan for collecting analytics data right away! The important thing is that you eventually have a system where you can both collect and analyze usage data.
Improve your knowledge base content over time
What do you do once you have customer data? You use it! Here are a few tips:
-
Keep maintenance regular. As your product changes, so will your documentation, and so will your customers' questions. Set aside regular maintenance time to take a look at your AI Agent's reports and conversation transcripts, so you can pick out opportunities to improve your knowledge base and have your AI Agent performing even better for future customers.
-
Keep feedback loops tight. If you see an opportunity to improve your knowledge base so you can improve your AI Agent, make that change right away, so you can improve your AI Agent's performance right away.
Over time, with the information about how your customers interact with your AI Agent, you'll be able to settle into a workflow where you can improve both your knowledge base and your AI Agent all at once.