Το αποκαλυπτικό πείραμα του BBC - Δείτε χαρακτηριστικά παραδείγματα
Μαντάρα τα έκαναν τα δημοφιλέστερα AI chatbots σε πείραμα του BBC που τους ζητούσε να κάνουν περίληψη των ειδησεογραφικών κειμένων.
«Σημαντικές ανακρίβειες» και «διαστρεβλώσεις» στις περιλήψεις ειδήσεων βρέθηκαν στις απαντήσεις του ChatGPΤ της OpenAI, του Copilot της Microsoft, του Gemini της Google και της εφαρμογής της Perplexity AI, διαπίστωσε πείραμα του BBC.
H τεχνητή νοημοσύνη προσφέρει μεν «ατέλειωτες ευκαιρίες», όμως οι εταιρείες που βιάζονται να λανσάρουν τα μοντέλα τους στην αγορά «παίζουν με τη φωτιά» σχολίασε η Deborah Turness, CEO του BBC News. «Ζούμε σε ταραγμένους καιρούς και πόσο καιρό θα περάσει μέχρι ένας τίτλος παραμορφωμένος από AI να προκαλέσει σημαντική βλάβη στον πραγματικό κόσμο;»
Το πείραμα του BBC
Το BBC δοκίμασε τέσσερα δημοφιλέστερα μοντέλα τεχνητής νοημοσύνης AI chatbots, επικεντρώνοντας στην δυνατότητά τους να κάνουν περιλήψεις σε ειδήσεις. Συγκεκριμένα, δοκίμασαν το ChatGPT, το Copilot, το Gemini και το Perplexity της Anthropic.
Στο πλαίσιο της μελέτης, τα τέσσερα μοντέλα ΑΙ κλήθηκαν να διαβάσουν 100 άρθρα του BBC και να απαντήσουν σε σχετικές ερωτήσεις. Δημοσιογράφοι ανέλαβαν να αξιολογήσουν τα αποτελέσματα που έδιναν τα chatbots.
Τα αποτελέσματα έδειξαν πως το 51% των περιλήψεων που παρήγαγαν τα AI chatbots είχαν σοβαρά προβλήματα. Το πιο ανησυχητικό είναι πως το 19% των άρθρων περιλάμβαναν λανθασμένες ή ακόμα και ανύπαρκτες πληροφορίες, δηλώσεις, αριθμούς και ημερομηνίες, που η τεχνητή νοημοσύνη δημιούργησε χωρίς να υπάρχουν στο αρχικό κείμενο.
Μερικά παραδείγματα ανακριβειών που διαπίστωσε το BBC:
- Το Gemini δήλωσε εσφαλμένα ότι το NHS (Εθνικό Σύστημα Υγείας Ηνωμένου Βασιλείου) δεν συνιστά το άτμισμα ως βοήθημα για τη διακοπή του καπνίσματος
- Το ChatGPT και το Copilot είπαν ότι ο πρώην πρωθυπουργός της Βρετανίας Ρίσι Σούνακ και η πρώην πρώτη υπουργός της Σκωτίας Νίκολα Στέρτζεον εξακολουθούσαν να βρίσκονται στο αξίωμα ακόμη και αφού είχαν αποχωρήσει
- Το Perplexity διαστρέβλωσε άρθρο για τη Μέση Ανατολή λέγοντας ότι το Ιράν επέδειξε «αυτοσυγκράτηση» ενώ το Ισραήλ είναι «επιθετικό».
Σύμφωνα με τους ερευνητές, το πρόβλημα οφείλεται εν μέρει στο γεγονός ότι η ΑΙ δεν μπορεί να ξεχωρίσει το γεγονός από την προσωπική γνώμη, ούτε ξεχωρίζει την τρέχουσα επικαιρότητα από το αρχειακό υλικό. Τείνει επίσης να εισάγει αυθαίρετες απόψεις στις απαντήσεις της.
