Πώς διαφέρουν οι παράλληλοι υπολογισμοί και διανεμήθηκαν από την άποψη της προσέγγισής τους στην αποτελεσματική επεξεργασία των εργασιών επεξεργασίας;

Τόσο ο παράλληλος υπολογισμός όσο και ο κατανεμημένος υπολογιστικός στόχος για την αποτελεσματική επεξεργασία των εργασιών, αλλά διαφέρουν σημαντικά στην προσέγγισή τους:

παράλληλη υπολογιστική:

* Focus: Εκτέλεση πολλαπλών υπολογισμών * ταυτόχρονα * μέσα σε ένα μόνο σύστημα υπολογιστή. Αυτό αξιοποιεί πολλαπλές μονάδες επεξεργασίας (πυρήνες, νήματα κ.λπ.) μέσα στο ίδιο μηχάνημα.

* Επικοινωνία: Η επικοινωνία μεταξύ των μονάδων επεξεργασίας είναι σχετικά γρήγορη και αποτελεσματική επειδή μοιράζονται τον ίδιο χώρο μνήμης (ή τουλάχιστον έχουν διασύνδεση υψηλής ταχύτητας). Η κοινή χρήση δεδομένων είναι συχνά απλή.

* Μοντέλο προγραμματισμού: Συχνά περιλαμβάνει τη χρήση τεχνικών όπως MultithReading, Multiprocessing, ή SIMD (ενιαία εντολή, πολλαπλά δεδομένα). Βιβλιοθήκες όπως το OpenMP, το MPI (αν και χρησιμοποιούνται και στα κατανεμημένα) και το CUDA χρησιμοποιούνται συνήθως.

* Επιμελητικότητα: Περιορισμένη από τους φυσικούς πόρους (αριθμός πυρήνων, μνήμη, εύρος ζώνης εισόδου/εξόδου) ενός ενιαίου μηχανήματος. Η προσθήκη περισσότερης ισχύος επεξεργασίας απαιτεί να αποκτήσετε ένα πιο ισχυρό μηχάνημα.

* Παράδειγμα: Εκτέλεση σύνθετης προσομοίωσης χρησιμοποιώντας πολλαπλούς πυρήνες σε ένα ενιαίο σταθμό εργασίας υψηλής τεχνολογίας.

Κατανεμημένος υπολογιστής:

* Focus: Εκτέλεση πολλαπλών υπολογισμών * ταυτόχρονα * σε πολλούς ανεξάρτητους υπολογιστές (κόμβους) που συνδέονται με ένα δίκτυο.

* Επικοινωνία: Η επικοινωνία μεταξύ των κόμβων βασίζεται σε ένα δίκτυο (π.χ. Ethernet, Infiniband), το οποίο είναι εγγενώς πιο αργή και πιο πολύπλοκη από την εσωτερική επικοινωνία σε ένα μόνο μηχάνημα. Η ανταλλαγή δεδομένων απαιτεί ρητές μηχανισμούς επικοινωνίας. Η καθυστέρηση του δικτύου και το εύρος ζώνης γίνονται κρίσιμοι παράγοντες.

* Μοντέλο προγραμματισμού: Συχνά συνεπάγεται τη χρήση τεχνικών περάσματος μηνυμάτων (π.χ., MPI) ή αρχιτεκτονικών κοινών-τίποτα (π.χ., χρησιμοποιώντας βάσεις δεδομένων). Ο συντονισμός μεταξύ των κόμβων είναι πιο δύσκολος.

* Επιμελητικότητα: Μπορεί να κλιμακωθεί σε πολύ μεγάλα προβλήματα προσθέτοντας περισσότερους υπολογιστές στο δίκτυο. Το θεωρητικό όριο είναι πολύ υψηλότερο από τον παράλληλο υπολογισμό σε ένα μόνο μηχάνημα.

* Παράδειγμα: Μια μηχανή αναζήτησης ιστού μεγάλης κλίμακας, όπου πολλοί διακομιστές συνεργάζονται για να ευρετηθούν και να ανακτήσουν ιστοσελίδες. Το Cloud Computing είναι ένα προεξέχον παράδειγμα κατανεμημένης πληροφορικής.

Οι βασικές διαφορές συνοψίζονται:

| Χαρακτηριστικό | Παράλληλος υπολογιστής | Κατανεμημένος υπολογιστής |

| --------------------------------------------------------------------------------------------------------------------------------------------------------------------

| υλικό | Ενιαίο μηχάνημα, πολλαπλοί επεξεργαστές | Πολλαπλές ανεξάρτητες μηχανές

| Επικοινωνία | Γρήγορη, κοινή μνήμη (συχνά) | Πιο αργή, βάσει δικτύου |

| δυνατότητα κλιμάκωσης | Περιορισμένη από τους πόρους μεμονωμένων μηχανών | Εξαιρετικά κλιμακωτή |

| πολυπλοκότητα | Σχετικά απλούστερο στο πρόγραμμα | Σημαντικά πιο περίπλοκο για το πρόγραμμα |

| Κοινή χρήση δεδομένων | Ευκολότερο, συχνά έμμεσες | Πιο περίπλοκη, ρητή επικοινωνία |

Σε ορισμένες περιπτώσεις, μπορείτε να συνδυάσετε και τις δύο προσεγγίσεις - χρησιμοποιώντας ένα σύμπλεγμα υπολογιστών (κατανεμημένων υπολογιστών) όπου κάθε υπολογιστής εκτελεί παράλληλους υπολογισμούς. Αυτό προσφέρει το καλύτερο και των δύο κόσμων:υψηλή επεκτασιμότητα και αποτελεσματική αξιοποίηση των μεμονωμένων πόρων μηχανών.