Goostman è un chatbot. Il test di Turing non è stato superato

Goostman è un chatbot. Il test di Turing non è stato superato

Lo scorso fine settimana si parlava di test di Turing superato, per mezzo dell'intelligenza artificiale di un "supercomputer". Ad aver annunciato la notizia, in seguito confutata, è stato Kevin Warwick, già noto per aver diffuso "bufale" ancora meno credibili negli ultimi quindici anni

di Nino Grasso pubblicata il , alle 16:37 nel canale Scienza e tecnologia
 

Eugene Goostman è un software diventato estremamente popolare nel giro di pochi giorni per aver superato il test di Turing. La notizia è stata riportata sul web da decine di testate, fra cui la nostra, per poi venire confutata in maniera abbastanza perentoria. Il dibattito perdura ormai da giorni, anche se la risposta sembra ormai palese: Goostman non ha superato il test di Turing, e vi presentiamo i motivi.

Eugene Goostman non supera il test di Turing

Ad annunciare l'importante risultato era stato Kevin Warwick all'interno di questo comunicato altisonante: "Un passo storico nell'intelligenza artificiale è stato compiuto all'interno di un evento organizzato dalla University of Reading", recita il documento, che al suo interno presenta una serie di inesattezze che hanno portato parecchi giornalisti a cadere nell'errore, generando una cospicua reazione a catena.

Lo stesso Warwick è un personaggio abbastanza singolare nel mondo tecnologico, noto per aver divulgato una serie di "bufale" negli ultimi 15 anni: nel 2000 affermava di essere diventato il primo cyborg al mondo dopo essersi impiantato un chip nel braccio, mentre nel 2010 diffondeva la notizia secondo la quale un essere umano aveva ricevuto un virus informatico. Warwick è stato anche "premiato" nel tempo con un sito dedicato, in cui venivano descritte tutte le sue "prodezze" nel mondo tecnologico.

"Alcuni affermeranno che il test era già stato superato in passato", aveva scritto Warwick nel comunicato. "Ma questa volta sono stati utilizzati più test di comparazione che in passato, i risultati sono stati certificati da enti indipendenti e, soprattutto, le conversazioni non avevano restrizioni". L'affermazione cozza, tuttavia, con quanto avevamo specificato lo scorso lunedì, che riportiamo di seguito.

"L'essersi proposto come un tredicenne, ancora poco esperto su alcune tematiche, ha di certo aiutato Goostman a superare la prova, avvenuta esclusivamente sotto forma di chat testuale", il che potrebbe essere considerata una prima restrizione: avendo tredici anni, il bot aveva il diritto a non poter rispondere ad alcune domande, vista la sua "tenera" età. Goostman veniva, inoltre, presentato come "un supercomputer" quando in realtà era un semplice chatbot, sullo stile di Cleverbot.

In passato, quest'ultimo aveva "superato" il test di Turing convincendo il 59% dei giudici, un risultato sensibilmente superiore al 33% realizzato da Goostman. Warwick ha convinto le varie testate, inoltre, manipolando le regole dello stesso test, che sono parecchio meno esplicite di quanto non si sia voluto far credere. Non è vero, ad esempio, che si può considerare superato convincendo il 30% dei giudici, cifra probabilmente gestita in maniera sagace sulla base delle parole scritte in Computing Machinery and Intelligence dallo stesso Alan Turing 60 anni fa.

"Credo che entro cinquant'anni sarà posssibile sviluppare computer in grado di avere risultati nel gioco dell'imitazione tali per cui l'interrogatore medio non avrà più del 70% delle possibilità di identificare correttamente l'interlocutore dopo cinque minuti di conversazione", è l'estratto che potrebbe far pensare erroneamente che il 30% sia un requisito voluto da Turing per considerare il test superato. Come è semplice intuire, in questo caso si tratta semplicemente di una previsione che in qualche modo Warwick ha confermato.

Del resto una versione (forse più vecchia) di Eugene Goostman è disponibile sul web a questo indirizzo e risulta incredibile, dopo una breve analisi, poter pensare anche solo per un istante che "dall'altra parte" ci sia un essere umano in carne ed ossa. Goostman soffre di tutte le problematiche dei tipici chatbot, con molte risposte "mancate" a cui anche un tredicenne (come veniva presentato) potrebbe rispondere in maniera sicuramente più efficace e personale.

Ci scusiamo, pertanto, per aver creduto ingenuamente al comunicato di Warwick e aver riportato la notizia senza aver approfondito maggiormente la questione, "fidandoci" della stampa estera. Il test di Turing è un "benchmark" ormai leggendario e, come scrivevamo lunedì, possiamo confermare che "siamo ancora lontani dal poter dire che esista un software in grado di pareggiare le capacità di pensiero di un essere umano", e sicuramente Goostman non è che l'ennesima conferma.

25 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
Maverick49111 Giugno 2014, 16:51 #1
In poche parole, Nino ci è cascato come un pollo.
Zifnab11 Giugno 2014, 17:03 #2
Originariamente inviato da: Maverick491
In poche parole, Nino ci è cascato come un pollo.


Ma almeno l'autore e HWupgrade hanno avuto il buonsenso di scusarsi per esserci cascati. Capita a tutti.
Molte altre testate (che si occupano di altro, è vero, ma che sono estremamente più diffuse e popolari), hanno diffuso la notizia ai quattro venti salvo poi nemmeno degnarsi di scrivere due righe per ammettere l'errore.
Quindi un grazie all'autore per aver chiarito tutto quanto.... e un vada via ai ciap a Warwick!!
DKDIB11 Giugno 2014, 17:04 #3
Beh, insomma: c'è cascata praticamente tutta la stampa, specializzata e meno.

Fra chi ha dato la notizia il primo giorno, solo la Lega s'è salvata: Itomi aveva scritto chiaramente che, testando questo bot, era altamente inverosimile che lo si potesse scambiare per un essere umano.
cerbert11 Giugno 2014, 17:34 #4
Scusate... ma un piccolo embolo mi salta.

Già mi ero rifiutato di leggere la precedente notizia sul tema, semplicemente per il fatto che usare ancora il Test di Turing per individuare una AI è utile come valutare la bellezza di un possibile partner dalla foto del suo profilo su Meetic.

Leggo questa notizia solo per avere conferma di quello che già sapevo, ma scopro di più.
Scopro, cioè, che "l'inventore" dietro la supposta A.I. è un mitomane riconosciuto.

Allora faccio un gentile appello a chi ha scritto le veline a cui hanno fatto poi riferimento tutti, HWUpgrade (purtroppo) compreso: POTRESTE GENTILMENTE FARE IL VOSTRO LAVORO?
La vita è COMUNQUE troppo breve per perdere anche pochi secondi dietro alle manie di un mitomane.
Grazie.
zbear11 Giugno 2014, 17:39 #5

TOGLIETELO DA "IN EVIDENZA" !!

Almeno toglietelo dalla prima pagina.
E' brutto lasciarlo li, e pure vergognoso, ORA.
CrapaDiLegno11 Giugno 2014, 17:49 #6
Ma avete fatto la prova interrogando il "tizio"?
Ora faccio un programmino in Python che risponde meglio di quella cosa.

La prima cosa da fare per vedere se l'interlocutore è una A.I. è fare domande sequenziali in cui si perde il soggetto esplicito nelle seguenti dopo la prima.
Se non si ricorda nemmeno di cosa si stava parlando ovviamente un dubbio sorge.

Senza contare che in 4 domande mi ha chiesto 3 volte dove abito.
Solo un bambino di 10 anni può credere che dall'altra parte del filo ci possa essere un bambino di 13.

Se questa è la barriera di intelligenza che è stata sfondata direi che siamo messi davvero male. O dove hanno condotto i test sono dei neonati incapaci di fare 2 domande di seguito in grado di scovare il problema.

Ora provo con le domande del test Voight-Kampff... ahahahah... (per chi non se lo ricordasse è il test in Blade Runner creato per scoprire gli androidi).
demon7711 Giugno 2014, 17:52 #7
Originariamente inviato da: Maverick491
In poche parole, Nino ci è cascato come un pollo.


Originariamente inviato da: zbear
Almeno toglietelo dalla prima pagina.
E' brutto lasciarlo li, e pure vergognoso, ORA.


Va beh, non mi pare giusto prendersela con chi riporta la notizia.
Se esce una news da una certa fonte sufficientemente affidabile la si riporta, se poi salta fuori che in effetti era una bufala si riposta la smentita sempre da fone autorevole.
E' corretto, nulla di cui vergognarsi.
Io non gradisco piuttosto le news tirate fuori da inesistenti fuffose "voci di corridoio" da cui oltretutto si tirano somme ancora più strampalate.
frankie11 Giugno 2014, 17:53 #8
Butac e Attivissimo lo avevano sgamato fin dal principio.

http://www.butac.it/eugene-intelligenza-artificiale/

Scimiazzurro11 Giugno 2014, 18:00 #9
Oh, se non esistesse il Disinformatico...
Raghnar-The coWolf-11 Giugno 2014, 18:02 #10
Originariamente inviato da: Maverick491
In poche parole, Nino ci è cascato come un pollo.


stavolta direi che e' scusato, ci son cascati ambi i piedi perfino testate internazionali di un certo spessore...

piu' che altro copiando pari pari attivissimo son capaci tutti di correggere il tiro... :P

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^