Πώς οι χάκερς κατευθύνουν χρήστες σε κέντρα απάτης μέσω ChatGPT και Gemini
Πρωτότυπος τίτλος: "Hackers influence ChatGPT and Gemini to direct users to scam centers" (από ArielSimon)
Οι επιτιθέμενοι χρησιμοποιούν τεχνικές GEO (Generative Engine Optimization) για να δηλητηριάσουν τις απαντήσεις των LLM, ενσωματώνοντας πλαστά στοιχεία επικοινωνίας σε εκατομμύρια ιστοσελίδες. Το αποτέλεσμα είναι οι χρήστες να λαμβάνουν οδηγίες για κέντρα απάτης αντί για επίσημες επαφές εταιρειών, επηρεάζοντας ChatGPT, Gemini και Google AI Overview σε μεγάλη κλίμακα.
Μηχανισμός επίθεσης GEO (Generative Engine Optimization)
Οι επιτιθέμενοι αξιοποιούν την ενορχήστρωση (orchestration) του τρόπου με τον οποίο τα LLM επιλέγουν και παραθέτουν πηγές. Δημιουργούν περιεχόμενο βελτιστοποιημένο για GEO, επαναλαμβάνοντας πλαστά στοιχεία επικοινωνίας (τηλέφωνα, email, URL) και χρησιμοποιώντας τεχνικές όπως ερωτήσεις και απαντήσεις, επείγουσα γλώσσα και ψευδείς ημερομηνίες ενημέρωσης. Αυτό αυξάνει την πιθανότητα τα στοιχεία αυτά να εμφανιστούν στις απαντήσεις των AI, καθώς τα μοντέλα συλλογιστικής (reasoning models) βασίζονται σε μοτίβα που μοιάζουν με ανθρώπινη συγγραφή.
Ανίχνευση και κλίμακα
Μια προσαρμοσμένη πλατφόρμα ανίχνευσης ανάλυσε τις απαντήσεις των ChatGPT, Gemini και Google AI Overview για Fortune‑100 εταιρείες, τράπεζες και αεροπορικές εταιρείες. Το σύστημα βαθμολόγησε τις πηγές και ανίχνευσε τεχνικές GEO, καταγράφοντας 374 εταιρείες που έχουν πληγεί. Οι επιθέσεις δεν είναι σποραδικές· οι επιτιθέμενοι δημοσιεύουν εκατοντάδες σελίδες ημερησίως ανά πλατφόρμα, δημιουργώντας ένα σημείο συμφόρησης (bottleneck) για τις παραδοσιακές διαδικασίες αφαίρεσης περιεχομένου.
Τεχνικές παράκαμψης και διατήρησης
- Παράκαμψη φίλτρων spam: Χρήση κενών, κουκκίδων, εικονιδίων (π.χ. 1️⃣) και Unicode για να αποφευχθεί η ανίχνευση αριθμών από φίλτρα.
- Διασπορά σε αξιόπιστους τομείς: Δημοσίευση σε .edu, κυβερνητικές σελίδες, πλατφόρμες UGC και PDF, ώστε το ψεύτικο περιεχόμενο να φαίνεται ευρέως επιβεβαιωμένο.
- Ανάμειξη με πραγματικά δεδομένα: Συνδυασμός ψεύτικων αριθμών με πραγματικούς για να αυξηθεί η αξιοπιστία στις απαντήσεις των LLM, εκμεταλλευόμενοι την ικανότητα των μοντέλων να παραθέτουν πολλαπλές πηγές.
- Δημιουργία πανικού: Χρήση επείγουσας γλώσσας σχετικά με ακυρώσεις πτήσεων, κλειδωμένους λογαριασμούς και επιστροφές χρημάτων για να ωθήσει τους χρήστες σε άμεση δράση.
Αρχιτεκτονική άμυνας
Οι ερευνητές έχουν αναπτύξει μια αυτοματοποιημένη μηχανή αντι-δηλητηρίασης που παρακολουθεί συνεχώς τις απαντήσεις των AI, εντοπίζει ανωμαλίες GEO και αντικαθιστά τις ψευδείς πληροφορίες με επαληθευμένες επαφές εταιρειών. Η λύση χρησιμοποιεί απομεταγλώττιση (decompilation) των απαντήσεων των LLM και εφαρμόζει κανόνες διαλειτουργικότητας (interoperability) με τις ροές δεδομένων των παρόχων, επιτρέποντας την ταχεία διόρθωση χωρίς ανθρώπινη παρέμβαση.
Επιπτώσεις και προοπτικές
Η επίθεση υπογραμμίζει ένα θεμελιώδες κβαντισμός (quantization) στο απόρρητο των δεδομένων: τα LLM δεν μπορούν να διακρίνουν την αλήθεια από το ψέμα, καθιστώντας τα ευάλωτα σε χειραγώγηση σε μεγάλη κλίμακα. Καθώς τα οικοσυστήματα των AI γίνονται όλο και πιο ενσωματωμένα στις καθημερινές υπηρεσίες, η ανάγκη για συνεχείς μηχανισμούς επαλήθευσης και ανθεκτικότητας στις επιθέσεις GEO θα είναι κρίσιμη για την προστασία τόσο των χρηστών όσο και των εταιρειών από οικονομικές απώλειες και ζημιά στη φήμη.
Ανακαλύψτε καινοτόμα open-source εργαλεία και κρυμμένα διαμάντια ανοιχτού κώδικα.