{"id":81,"date":"2020-11-06T12:59:08","date_gmt":"2020-11-06T12:59:08","guid":{"rendered":"https:\/\/docs.tellya.ai\/?post_type=ht_kb&#038;p=81"},"modified":"2022-06-08T09:21:57","modified_gmt":"2022-06-08T09:21:57","slug":"analizzare-il-livello-di-autonomia-e-di-confidenza-raggiunta-dallagente-proficiency","status":"publish","type":"ht_kb","link":"https:\/\/docs.tellya.ai\/index.php\/knowledge-base\/analizzare-il-livello-di-autonomia-e-di-confidenza-raggiunta-dallagente-proficiency\/","title":{"rendered":"Analizzare il livello di autonomia e di confidenza raggiunta dall\u2019agente (Proficiency)"},"content":{"rendered":"\n<p>La sezione Proficiency pone l\u2019attenzione sul livello di efficacia ed efficienza raggiunto dall\u2019agente nell\u2019identificare correttamente e in autonomia gli intenti e quindi le risposte da fornire agli utenti.<\/p>\n\n\n\n<p class=\"wp-block-ht-blocks-messages wp-block-hb-message wp-block-hb-message--withicon is-style-info\">I valori di Precision e Recall vengano calcolati a seguito dell\u2019attivit\u00e0 di Training. Affinch\u00e9 siano popolati quindi, \u00e8 necessario validare o modificare le associazioni frase-intento all\u2019interno della sezione Training.<\/p>\n\n\n\n<h2>Trusted intents<\/h2>\n\n\n\n<p>Numero di <a href=\"https:\/\/docs.tellya.ai\/index.php\/knowledge-base\/trusted-untrusted\/#dialogflow-es\">intenti contrassegnati come \u201cTrusted\u201d<\/a> in rapporto al numero di intenti totali configurati all\u2019interno del motore di NLU. NB: Il contatore e il relativo valore in percentuale non sono vengono influenzati dagli eventuali filtri impostati nella sezione \u201cProficiency\u201d.<\/p>\n\n\n\n<h2>Virtual agent autonomy<\/h2>\n\n\n\n<p>Numero (e percentuale rispetto al totale) di sessioni conversazionali gestite in autonomia dall\u2019agente virtuale: all\u2019interno delle quali cio\u00e8, sono stati innescati esclusivamente <a href=\"https:\/\/docs.tellya.ai\/index.php\/knowledge-base\/trusted-untrusted\/#dialogflow-es\" data-type=\"URL\" data-id=\"https:\/\/docs.tellya.ai\/index.php\/knowledge-base\/trusted-untrusted\/#dialogflow-es\">intenti configurati come \u201cTrusted\u201d<\/a>.<\/p>\n\n\n\n<h2>Precision<\/h2>\n\n\n\n<p>Indica quindi quante volte, in percentuale, le associazioni frase-intento effettuate dall\u2019agente erano effettivamente correte (perch\u00e8 confermate durante le attivit\u00e0 di Training).<\/p>\n\n\n\n<p>Calcolato come il rapporto tra i veri positivi e la somma di veri positivi e falsi positivi, misura quindi l\u2019esattezza e la fedelt\u00e0 del modello di riconoscimento degli intenti.<\/p>\n\n\n\n<h2>Recall<\/h2>\n\n\n\n<p>Indica la percentuale media di associazioni corrette frase-intento effettuate dal modello rispetto al totale delle associazioni corrette attese.<\/p>\n\n\n\n<p>Calcolato come il rapporto tra i veri positivi e la somma di veri positivi e falsi negativi, misura quindi la completezza del modello di riconoscimento degli intenti.<\/p>\n\n\n\n<h2>Confidence<\/h2>\n\n\n\n<p>La confidenza \u00e8 un valore restituito dal motore di NLU e indica il grado di sicurezza medio dell\u2019agente nell\u2019associare una specifico input (domanda utente) a un determinato intento.<\/p>\n\n\n\n<p>I valori della confidenza variano da 0.0 (per nulla confidente) a 1.0 (pienamente confidente).<\/p>\n\n\n\n<h2>Feedback<\/h2>\n\n\n\n<p>Voto medio fornito dagli operatori alle associazioni frase-intento proposte dall\u2019agente virtuale.<\/p>\n\n\n\n<h2>Score distribution<\/h2>\n\n\n\n<p>All\u2019interno del grafico a barre \u00e8 possibile visualizzare la distribuzione dei valori di Precision e Recall. Per ogni range di valori delle due metriche viene indicato il numero di intenti i cui valori di precision e recall ricadono in tale intervallo.<\/p>\n\n\n\n<p>La tabella posta nella parte inferiore della pagina permette invece di visualizzare i valori associati alle metriche precedentemente descritte (Precision, Recall, Confidence e Feedback) per ogni singolo intento presente nella piattaforma di NLU.<\/p>\n\n\n\n<p>Per ogni ogni intento, identificato dal suo nome, viene inoltre indicato lo status (\u201cTrusted\u201d o \u201cUnstrusted\u201d) e il numero di volte in cui \u00e8 stato innescato (Occurrences) all\u2019interno delle conversazioni.<\/p>\n\n\n\n<p>Tramite i filtri posti nella parte superiore della tabella \u00e8 possibile:<\/p>\n\n\n\n<ul><li>Cercare uno specifico intento<\/li><li>Visualizzare solo gli intenti contrassegnati come \u201cTrusted\u201d o \u201cUntrusted\u201d<\/li><li>Visualizzare solo gli intenti il cui valore di Precisione e di Recall ricade all\u2019interno di uno specifico intervallo di valori<\/li><\/ul>\n","protected":false},"excerpt":{"rendered":"<p>La sezione Proficiency pone l\u2019attenzione sul livello di efficacia ed efficienza raggiunto dall\u2019agente nell\u2019identificare correttamente e in autonomia gli intenti e quindi le risposte da fornire agli utenti. Trusted intents Numero di intenti contrassegnati come \u201cTrusted\u201d in rapporto al numero di intenti totali configurati all\u2019interno del motore di NLU. NB:&#8230;<\/p>\n","protected":false},"author":3,"comment_status":"closed","ping_status":"closed","template":"","format":"standard","meta":[],"ht-kb-category":[18],"ht-kb-tag":[],"_links":{"self":[{"href":"https:\/\/docs.tellya.ai\/index.php\/wp-json\/wp\/v2\/ht-kb\/81"}],"collection":[{"href":"https:\/\/docs.tellya.ai\/index.php\/wp-json\/wp\/v2\/ht-kb"}],"about":[{"href":"https:\/\/docs.tellya.ai\/index.php\/wp-json\/wp\/v2\/types\/ht_kb"}],"author":[{"embeddable":true,"href":"https:\/\/docs.tellya.ai\/index.php\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/docs.tellya.ai\/index.php\/wp-json\/wp\/v2\/comments?post=81"}],"version-history":[{"count":9,"href":"https:\/\/docs.tellya.ai\/index.php\/wp-json\/wp\/v2\/ht-kb\/81\/revisions"}],"predecessor-version":[{"id":1309,"href":"https:\/\/docs.tellya.ai\/index.php\/wp-json\/wp\/v2\/ht-kb\/81\/revisions\/1309"}],"wp:attachment":[{"href":"https:\/\/docs.tellya.ai\/index.php\/wp-json\/wp\/v2\/media?parent=81"}],"wp:term":[{"taxonomy":"ht_kb_category","embeddable":true,"href":"https:\/\/docs.tellya.ai\/index.php\/wp-json\/wp\/v2\/ht-kb-category?post=81"},{"taxonomy":"ht_kb_tag","embeddable":true,"href":"https:\/\/docs.tellya.ai\/index.php\/wp-json\/wp\/v2\/ht-kb-tag?post=81"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}