Τι είναι το ντετερμινιστικό δίκτυο;

Ένα ντετερμινιστικό δίκτυο είναι ένα δίκτυο όπου η έξοδος καθορίζεται πλήρως από την είσοδο. Με άλλα λόγια, δεδομένης της ίδιας εισόδου, το δίκτυο θα παράγει πάντα την ίδια έξοδο. Δεν υπάρχει τυχαία ή στοχαστικότητα.

Αυτό έρχεται σε αντίθεση με ένα στοχαστικό δίκτυο (ή πιθανοτικό δίκτυο), όπου η έξοδος επηρεάζεται από τυχαία στοιχεία, που σημαίνει ότι η ίδια είσοδος μπορεί να οδηγήσει σε διαφορετικές εξόδους σε διαφορετικές διαδρομές.

Εδώ είναι μια κατανομή:

* Νεογραμμιστικά δίκτυα: Αυτά τα δίκτυα είναι προβλέψιμα. Μόλις σταθεροποιηθεί η αρχιτεκτονική (βάρη, στρώματα, λειτουργίες ενεργοποίησης κ.λπ.), η απόκριση σε μια δεδομένη είσοδο είναι πάντα η ίδια. Τα περισσότερα παραδοσιακά νευρωνικά δίκτυα με σταθερά βάρη είναι ντετερμινιστικά.

* Στοχαστικά δίκτυα: Αυτά τα δίκτυα ενσωματώνουν τυχαία, συχνά μέσω τεχνικών όπως η εγκατάλειψη (προσωρινά αγνοώντας τους νευρώνες κατά τη διάρκεια της εκπαίδευσης), προσθέτοντας θόρυβο σε εισόδους ή βάρη ή χρησιμοποιώντας στοχαστικές λειτουργίες ενεργοποίησης. Αυτή η τυχαιότητα μπορεί να βελτιώσει τη γενίκευση και την ευρωστία, αλλά καθιστά την έξοδο λιγότερο προβλέψιμη για μια δεδομένη είσοδο.

Συνέπειες:

* αναπαραγωγιμότητα: Τα ντετερμινιστικά δίκτυα είναι ιδιαίτερα αναπαραγώγιμα. Τα ίδια αποτελέσματα μπορούν να επιτευχθούν επανειλημμένα.

* Debugging: Ευκολότερο να εντοπίσει σφάλμα επειδή η συμπεριφορά είναι συνεπής και προβλέψιμη.

* Εκπαίδευση: Μπορεί να συγκλίνει πιο αργή ή να κολλήσει σε τοπικά Optima σε σύγκριση με τα στοχαστικά δίκτυα σε ορισμένες περιπτώσεις.

* γενίκευση: Μπορεί μερικές φορές να οδηγήσει σε υπερφόρτωση, αν δεν έχει σχεδιαστεί προσεκτικά.

Συνοπτικά, η βασική διαφορά έγκειται στην παρουσία ή απουσία τυχαιότητας στη λειτουργία του δικτύου. Η επιλογή μεταξύ ενός ντετερμινιστικού και στοχαστικού δικτύου εξαρτάται από τη συγκεκριμένη εφαρμογή και τις απαιτήσεις της για την προβλεψιμότητα, την ευρωστία και τη γενίκευση.