Η Ελιά ανάγεται στους Μυκηναϊκούς χρόνους. Η αρχαία πόλις έφερε το όνομα ΒΙΑΝΔΙΝΗ και όπως αναφέρουν οι αρχαιολόγοι έχουν βρεθεί πήλινα αγγεία της Πρωτοελλαδικής και της Υστεροελλαδικής Εποχής .

Κατά τους αρχαίους χρόνους από εδώ περνούσε η οδός που συνέδεε το αρχαίον Έλος, παρακάμπτοντας την Κύριαν οδόν Σπάρτης – Επιδ. Λιμηράς και δια της Κοκκινιάς (αρχ. Ακραία) και της Ελιάς (αρχ. Βιανδίνη) κατέληγε εις τον Ασωπό. Στο υψηλότερο και Νότιο σημείο του χώρου δεσπόζει ερειπωμένος Πύργος Μεσαιωνικού Ρυθμού.

Η νεότερη ιστορία του τόπου άρχισε γύρω στα 1875 – 1880. Πρώτοι κάτοικοι ήταν ο Παν/της Μοραντζής και ο Κατελανής, Μανιάτες στην καταγωγή. Ο Μοραντζής εγκαταστάθηκε στον μικρό κόλπο γιατί έβλεπε πως η θάλασσα μπορούσε να προσφέρει ζωή. Εκεί ήταν και ένα δένδρο Ελιάς όπου ο πολυμήχανος Μοραντζής έστησε δύο – τρία σιδερένια τραπεζάκια και πωλούσε καφεδάκια στους επισκέπτες και κυρίως στους αμαξάδες που έρχονταν να φορτώσουν και να μεταφέρουν στους Μολάους αποικιακά, λιπάσματα κ.τ.λ.

Οι αμαξάδες λοιπόν για να πιούν έναν καφέ και ένα νερό να ξεδιψάσουν έλεγαν: Πάμε να πιούμε ένα καφέ στην Ελιά του Μοραντζή. Έτσι ο τόπος αυτός πήρε το όνομα Ελιά. Ο έξυπνος Μοραντζής κτίζοντας την οικία του στην παραλία, παραπλεύρως έκτισε μπανιέρες και με αντλία τραβούσε το θαλασσινό νερό, το ζέσταινε σε λέβητες και οι γυναίκες κυρίως της περιοχής έπαιρναν το μπάνιο τους. Έκανε χρυσές δουλείες. Στην συνέχεια τον μιμήθηκαν η Πολυτίμη Φραντζέσκου ( η κυρά μας η μαμή) η Νικολίνα Τεσσέρη και ο Μήτσος Γρεβενίτης.

Ο Μοραντζής ήταν ο πρωτεργάτης στο να κτισθεί η Εκκλησία μας. Στο έργο αυτό τον βοήθησαν σημαντικά, οι Γιάννης Σύριος, Γιάννης Λεμπέσης, Θανάσης Τζανής και ο Σπύρος Δελαγραμμάτικας. Ο τελευταίος είχε στη κατοχή του ένα στενόμακρο κόκκινο πλοιάριο που εκινήτο μόνο με τέσσερα κουπιά. Αυτοί λοιπόν οι θαλασσοπόροι πήγαιναν στην Ελαφόνησο με τα κουπιά για να φέρουν τα ποριά (πέτρες στενόμακρες) για το κτίσιμο της εκκλησίας που στη συνέχεια στεγάστηκε εκεί το πρώτο Δημοτικό σχολείο του χωριού με πρώτους μαθητές τους: Αντώνη Κατελανή (εισαγγελέας), Κ. Κατελανή, Γ. Ορφανάκο, Δημ. Γιαννακόδημο (τελώνης), Σπύρο Δελαγραμμάτικα (φαροφύλακας).

Σιγά σιγά κατέφθαναν από την Μάνη και άλλες οικογένειες, όπως του Πέτρου Κουλίζου Παναγιώτη Κούβαρη και Κυριακούλη Γιάνναρου. Ο Πέτρος Κουλίζος είχε ένα μεγάλο καΐκι με δυο κατάρτια με πλήρωμα τα παιδιά του, εκτελούσαν μεταφορές.

Άλλος θαλασσοπόρος ήταν ο Ν. Λεμπέσης ο οποίος με βενζινοκίνητο σκάφος εκτελούσε δρομολόγια Ελιά – Γύθειο, και στη κατοχή 40 – 44 Ελιά – Πειραιά μεταφέροντας κυρίως σύκα και λάδια. Μέχρι το 1937 το σημερινό λιμάνι το αποτελούσαν μεγάλοι ογκόλιθοι ατάκτως ειρημένοι κυρίως μπροστά από το εκκλησάκι «Αι Δημήτρης»¨που ήταν και ο Φάρος

Το 1937 λοιπόν το λιμάνι πήρε την σημερινή του μορφή. Μέχρι το 1940 περνούσε από το χωρίο, πλοίο γραμμής Πειραιά – Κύθηρα – Γύθειο – Ελιά – Μονεμβάσια, οι δε επιβάτες επιβιβάζονταν στις βάρκες και στη συνέχεια στο πλοίο. Δηλαδή επρόκειτο για αραξοβόλι και μόνο, όχι λιμάνι.

Κάθε καλοκαίρι έρχονταν καΐκια και φόρτωναν χιλιάδες οκάδες σύκα, ακόμα και βαπόρια φόρτωναν σύκα για το εξωτερικό. Τα περισσότερα οικοδομήματα στην παραλία είχαν μετατραπεί σε αποθήκες σύκων, αλεύρων και λιπασμάτων, Έμποροι από την Καλαμάτα καταφθάνουν Αύγουστο – Σεπτέμβριο και κάνανε τις αγορές τους.

Γύρω στα 1900 άρχισε το χωριό να παίρνει τα πάνω του, αφού αυτό το υποτυπώδες λιμάνι έγινε κέντρο μεταφοράς προϊόντων και εμπορευμάτων σε όλη την επαρχία. Το οδικό δίκτυο ήταν σε άθλια κατάσταση ως και ανύπαρκτο. Η κίνηση στο λιμάνι ήταν πολύ μεγάλη. Σκάφη μικρά και μεγαλύτερα καθημερινά κατέπλεαν στο λιμάνι. Λόγω αυτής της κίνησης είχε Τελωνείο με πρώτο Τελώνη τον Μιχαλουνάκο από τον Κοτρωνα, είχε δε οργανωθεί σωματείο εργατών θαλάσσης με πρόεδρο τον Π. Φραντζέσκο. Έρχονταν μεγάλα ιστιοφόρα και σέρνοντας πίσω τους βάρκες με εργάτες κατέπλεαν στην Κοκκινιά για να φορτώσουν πυρήνα.

Κάθε πρωι από Ανοιξη μέχρι Φθινόπωρο δυο γρι – γρι άφηναν τις τράτες και τις λάμπες στο λιμάνι και πήγαιναν στο Γύθειο την ψαριά τους και με την Δύση του ηλίου επέστρεφαν πάλι στην Ελιά, να πάρουν τράτα – λάμπες και να πάνε στην Μπούγκα, για να ξενυχτήσουν ψαρεύοντας.

Σ' αυτό τον τόπο εγκατασταθήκαν άτομα προερχόμενα από διάφορα μέρη της ευρύτερης περιοχής και όλης της Ελλάδος, όπως Κώστας Τερζιώτης από τις Βελιές, Κώστας Παναρίτης από Κουπιά, Γιάννης Μπουντούνης, από Πάκια, Ηλίας Κυριακόγκωνας και Νικ. Κουτράκος από την Μάνη, Αθανάσιος Σύριος από την Συρία του οποίου το όνομα ήταν ΟΣΜΑΝ ΟΓΛΟΥ ΧΑΣΑΝ ΑΓΑΣ. Τον βάπτισε ο Καραντάνης από το Γύθειο και του έδωσε το όνομα Θανάσης και επώνυμο κράτησε τον τόπο της καταγωγής του (ΣΥΡΙΟΣ) Δύο μικρές βιοτεχνίες επεξεργασίας του πηλού υπήρξαν στο χωρίο.. Με τον πηλό κατασκεύαζαν πήλινα όπως βίκες και λαήνια για νερό, κουμπαράδες κ.λ.π

Η μία ήταν του Γιωργάκη του Λαϊνά που με το γαϊδουράκι του γύριζε όλη την επαρχία πουλώντας την πραμάτια του .Η άλλη ήταν των Αδελφών Ποντίκη. Με την ύδρευση και την εμφάνιση του πλαστικού έγιναν και οι δύο βιοτεχνίες παρελθόν, η δε βελτίωση του οδικού δικτύου και τα αναρίθμητα αυτοκίνητα νέκρωσαν το λιμάνι.