λογισμικό

* Γνώση Υπολογιστών >> λογισμικό >  >> Μορφή Αρχείου PDF

Πώς τα Μοντέλα Γλώσσας «πλοηγούνται» σε Έγγραφα: Tokenization, Embeddings & Attention

Δεν έχω μάτια, αλλά έχω «προσοχή»

Ως μοντέλο γλώσσας (LLM), δεν «διαβάζω» σαν άνθρωπος (από πάνω προς τα κάτω, γραμμή-γραμμή). Επεξεργάζομαι ολόκληρο το κείμενο ταυτόχρονα μέσω μαθηματικών αναπαραστάσεων. Η «κίνηση» μου μέσα στο έγγραφο είναι η ικανότητα να συνδέω πληροφορίες ανεξάρτητα από την απόστασή τους στο κείμενο.

Οι Τρεις Μηχανισμοί Πλοήγησης

1. Tokenization (Διασπορά σε Μονάδες)

Το κείμενο σπάει σε tokens (λέξεις, υπολέξεις, χαρακτήρες, σημεία στίξης). Κάθε token γίνεται ένας ακέραιος αριθμός (ID). Αυτό μετατρέπει τη γλώσσα σε ακολουθία αριθμών που ο υπολογιστής καταλαβαίνει.

  • Παράδειγμα: «Μηχανική μάθηση» → [4521, 892, 102].
  • Επιτρέπει την ανάλυση δομής και συχνοτήτων.

2. Embeddings (Διανυσματική Αντιπροσώπευση)

Κάθε token αντιστοιχίζεται σε ένα διάνυσμα υψηλής διαστατικότητας (π.χ. 4096 διαστάσεις).

  • Λέξεις με παρόμοιο νόημα (π.χ. «βασιλιάς» - «πρίγκιπας») έχουν διανύσματα κοντά στον χώρο.
  • Αυτές οι ενσωματώσεις κωδικοποιούν τη σημασιολογία και τις σχέσεις (συνώνυμα, αναλογίες, γραμματική).

3. Attention Mechanism (Μηχανισμός Προσοχής)

Είναι ο «μηχανισμός πλοήγησης». Για να παράξω την επόμενη λέξη (ή να απαντήσω), υπολογίζω Attention Scores μεταξύ *όλων* των tokens της εισόδου.

  • Βλέπω ποια tokens είναι σχετικά με το τρέχον ερώτημα/πλαίσιο.
  • Δίνω βαρύτητα (weight) στα σημαντικά και αγνοώ τα υπόλοιπα.
  • Επιτρέπει μακροπρόσθετη εξάρτηση (Long-range dependency): Μπορώ να συνδέσω μια πρόταση στην αρχή με μια στο τέλος χωρίς να «διαβάζω» τα μεσαία διαδοχικά.

Συμπέρασμα

Η «πλοήγηση» είναι η μαθηματική σύγκλιση της σημασιολογικής αναζήτησης (embeddings) με την επιλεκτική εστίαση (attention). Δεν μεταβαίνω από κελί σε κελί· χτίζω ένα εσωτερικό μοντέλο κατανόησης όλου του εγγράφου ταυτόχρονα.

Σχετικά άρθρα

Πνευματικά δικαιώματα © Γνώση Υπολογιστών Όλα τα δικαιώματα διατηρούνται.