La sezione Proficiency pone l’attenzione sul livello di efficacia ed efficienza raggiunto dall’agente nell’identificare correttamente e in autonomia gli intenti e quindi le risposte da fornire agli utenti.
I valori di Precision e Recall vengano calcolati a seguito dell’attività di Training. Affinché siano popolati quindi, è necessario validare o modificare le associazioni frase-intento all’interno della sezione Training.
Trusted intents
Numero di intenti contrassegnati come “Trusted” in rapporto al numero di intenti totali configurati all’interno del motore di NLU. NB: Il contatore e il relativo valore in percentuale non sono vengono influenzati dagli eventuali filtri impostati nella sezione “Proficiency”.
Virtual agent autonomy
Numero (e percentuale rispetto al totale) di sessioni conversazionali gestite in autonomia dall’agente virtuale: all’interno delle quali cioè, sono stati innescati esclusivamente intenti configurati come “Trusted”.
Precision
Indica quindi quante volte, in percentuale, le associazioni frase-intento effettuate dall’agente erano effettivamente correte (perchè confermate durante le attività di Training).
Calcolato come il rapporto tra i veri positivi e la somma di veri positivi e falsi positivi, misura quindi l’esattezza e la fedeltà del modello di riconoscimento degli intenti.
Recall
Indica la percentuale media di associazioni corrette frase-intento effettuate dal modello rispetto al totale delle associazioni corrette attese.
Calcolato come il rapporto tra i veri positivi e la somma di veri positivi e falsi negativi, misura quindi la completezza del modello di riconoscimento degli intenti.
Confidence
La confidenza è un valore restituito dal motore di NLU e indica il grado di sicurezza medio dell’agente nell’associare una specifico input (domanda utente) a un determinato intento.
I valori della confidenza variano da 0.0 (per nulla confidente) a 1.0 (pienamente confidente).
Feedback
Voto medio fornito dagli operatori alle associazioni frase-intento proposte dall’agente virtuale.
Score distribution
All’interno del grafico a barre è possibile visualizzare la distribuzione dei valori di Precision e Recall. Per ogni range di valori delle due metriche viene indicato il numero di intenti i cui valori di precision e recall ricadono in tale intervallo.
La tabella posta nella parte inferiore della pagina permette invece di visualizzare i valori associati alle metriche precedentemente descritte (Precision, Recall, Confidence e Feedback) per ogni singolo intento presente nella piattaforma di NLU.
Per ogni ogni intento, identificato dal suo nome, viene inoltre indicato lo status (“Trusted” o “Unstrusted”) e il numero di volte in cui è stato innescato (Occurrences) all’interno delle conversazioni.
Tramite i filtri posti nella parte superiore della tabella è possibile:
- Cercare uno specifico intento
- Visualizzare solo gli intenti contrassegnati come “Trusted” o “Untrusted”
- Visualizzare solo gli intenti il cui valore di Precisione e di Recall ricade all’interno di uno specifico intervallo di valori