Το Πρωτόκολλο Αποκλεισμού Ρομπότ

Ρομπότ , στο πλαίσιο του Διαδικτύου , σημαίνει ότι το πρόγραμμα λογισμικού που σαρώνουν μια ιστοσελίδα για τη συλλογή πληροφοριών . Αυτά δεν είναι ιοί - δεν υπάρχει κωδικός τοποθετούνται στον υπολογιστή σας , και όταν το ρομπότ έχει τελειώσει με την ιστοσελίδα σας , δεν υπάρχει καμία απόδειξη ότι το ρομπότ ήταν εκεί. Η διαδικασία συλλογής πληροφοριών , δεν είναι απαραίτητα επιβλαβής - θα μπορούσαν να ωφεληθούν από την επίσκεψη . Το Πρωτόκολλο Αποκλεισμού Ρομπότ ( REP) σας επιτρέπει να έχετε κάποιο έλεγχο επί της διαδικασίας . Ιστορία
Η

Η ιδέα REP ξεκίνησε το 1994 με μια ομάδα αναγνώστη ρομπότ ( robots-request@nestor.co.uk ) ως ένας τρόπος για να καθοδηγήσει ρομπότ μέσω των ιστοτόπων. Η βασική ιδέα ήταν να εγκαταστήσετε ένα μικρό αρχείο με γνωστές όνομα και τη θέση του δίνει εντολή στο ρομπότ πού να κοιτάξετε . Αυτές οι κατευθύνσεις θα μπορούσε πιθανότατα να αγνοηθεί από σατανικά ρομπότ , αλλά θα μπορούσε να χρησιμοποιηθεί από καλοήθη ρομπότ για να τους σώσει κάποιο χρόνο εξετάζοντας μόνο κάποια από τα αρχεία σας . Το βασικό πρωτόκολλο ενισχύθηκε το 2008 με ένα μεγάλο αριθμό από τις μεγάλες εταιρείες του Διαδικτύου όπως η Yahoo και η Google .
Εικόνων Καλοήθης Ρομπότ
Η

Υπάρχουν μερικά ρομπότ που πραγματικά θέλετε να επισκεφθείτε ιστοσελίδα σας . Για παράδειγμα , οι μηχανές αναζήτησης χρησιμοποιούν ρομπότ στο ευρετήριο του Διαδικτύου . Ξεκινώντας με μια ενιαία διεύθυνση της ιστοσελίδας , το ρομπότ χαρακτηρίζει την εν λόγω ιστοσελίδα και διατηρεί μια λίστα με όλες τις συνδέσεις που βρίσκονται στην ιστοσελίδα . Στη συνέχεια, το ρομπότ πηγαίνει κάτω από τον κατάλογο των συλλεγόμενων διευθύνσεις ιστοσελίδων . Δεδομένου ότι ο κατάλογος των νέων δικτυακών τόπων που δημιουργούνται κάθε μήνα είναι διαθέσιμα στο κοινό , υπάρχει μια καθυστέρηση από ιστοσελίδες για να ελέγξετε ότι κρατά τα ρομπότ εργάζονται μέρα και νύχτα . Θέλετε αυτές τις επισκέψεις ρομπότ επειδή θέλετε τις μηχανές αναζήτησης να γνωρίζουν και να ταξινομήσει την ιστοσελίδα σας, ώστε οι πιθανοί πελάτες μπορούν να σας βρουν μέσω των μηχανών αναζήτησης .

Η Malevolent Ρομπότ
Η

ρομπότ μπορεί επίσης να χρησιμοποιηθεί για καταστροφικούς σκοπούς . Για παράδειγμα , τα ρομπότ μπορούν να καταρτίσει μια λίστα με τις διευθύνσεις e-mail με τιμαριθμική αναπροσαρμογή συμφέροντα . Για να το κάνετε αυτό, θα ψάξουν για κάτι που έχει το σύμβολο " @" και να λάβει το string γύρω από αυτό που είναι συνδεδεμένο με κενά . Αυτός είναι ο λόγος που θα δείτε ορισμένοι καθηγητές επιστήμης των υπολογιστών δίνουν τη διεύθυνσή τους , όπως Professor.Abc { σύμβολο } University.edu - είναι να αποτρέψουμε το κακό ρομπότ . Για να χαρακτηρίσει τη διεύθυνση e-mail σας ανάλογα με το ενδιαφέρον , το ρομπότ φαίνεται στο META δήλωση που αποτελεί μέρος του κώδικα πίσω από κάθε ιστοσελίδα .
Εικόνων REP Σύνταξη
Η

Τα ρομπότ . txt αρχείο είναι εγκατεστημένο σε έναν κατάλογο . Εάν η ιστοσελίδα σας είναι www.widgits.com , η διαδρομή προς το αρχείο robots.txt θα www.widgits.com /robots.txt . Η πρώτη γραμμή του αρχείου θα είναι "user -agent : " και η επόμενη γραμμή θα "Απαγόρευση : " - η πρώτη γραμμή επιλέγει τον πληθυσμό των ρομπότ και η δεύτερη γραμμή δείχνει ποιοι κατάλογοι είναι εκτός ορίων . Χρησιμοποιώντας το " ? " Να δείχνουν μια αλλαγή γραμμής , "user-id : * ? /Abc /" είναι οι δύο δηλώσεις γραμμή που κατευθύνουν όλα τα ρομπότ να αποφύγει τον κατάλογο abc . Για να επιτρέψετε SearchBot να εξετάσει τα πάντα , αλλά να απαγορεύσει όλα τα άλλα ρομπότ , ο κώδικας θα είναι " user-id : SearchBot ? Απαγορεύσετε : ? User-id : * ? Απαγορεύσετε : /" - * σημαίνει όλα τα ρομπότ , /σημαίνει όλους τους καταλόγους και το κενό σημαίνει ότι δεν καταλόγους .
Η
εικόνων