Η άγρια όψη του γκεριγέρο, το χάρισμά του και οι μαραθώνιες ομιλίες του γοήτευσαν τόσο τις μάζες όσο και τις γυναίκες, πολλές από τις οποίες υπέκυψαν στον Φιντέλ, αλλά αυτή ήταν μια πλευρά της ζωής του για την οποία ο Φιντέλ Κάστρο τηρούσε τη μεγαλύτερη διακριτικότητα.
Τόσο λαμπερός όσο διακριτικός είναι ο μικρότερος αδελφός του, ο Ραούλ, ο Φιντέλ Κάστρο είχε πολυάριθμες κατακτήσεις στη διάρκεια της ζωής του, ενώ ο Ραούλ υπήρξε ο άνδρας μίας και μόνο γυναίκας, της Βίλμα Εσπίν, την οποία συνάντησε στο αντάρτικο και παντρεύτηκε το 1959. Η Βίλμα Εσπίν πέθανε το 2007.
Στη διάρκεια των αναρίθμητων συνεντεύξεων που έχει δώσει, ο πρώην πρόεδρος της Κούβας σπάνια αναφερόταν στους ερωτικούς δεσμούς του, όμως μια φορά παραδέχθηκε πως είχε «μια ζωή γεμάτη αγάπη». Πριν καν γίνει γωστός ως «επαναστάτης», ο Φιντέλ Κάστρο πολλαπλασίαζε τις κατακτήσεις, επιλέγοντας κατά προτίμηση τις ξανθές, χωρίς ωστόσο να περιφρονεί και τις μιγάδες.
Στις δεκαετίες του 1950 και του 1960, γοητεύει πολλές Αμερικανίδες, Γερμανίδες και Ιταλίδες και στη δεκαετία του 1970 θα συνάψει μια στενή φιλία με την ιταλίδα ηθοποιό Τζίνα Λολομπριτζίτα, η οποία θα κάνει ένα νοκιμαντέρ γι’ αυτόν.
Λίγο μετά την άνοδό του στην εξουσία το 1959, ο Φιντέλ Κάστρο έκανε σχέση με μια νεαρή Γερμανίδα, την Μαρτίνα Λόρεντς. Αυτή αφηγήθηκε πρόσφατα σ’ ένα βιβλίο πως είχε πειστεί από την CIA να δολοφονήσει τον «Κομαντάντε», όμως έκανε πίσω την τελευταία στιγμή.
Το 1964 είχε επίσης μια σύντομη περιπέτεια με την Εβελιν Πιζιέ, την αδελφή της ηθοποιού Μαρί-Φρανς Πιζιέ, την οποία «έκλεψε» από τον φίλο της την εποχή εκείνη, τον Μπερνάρ Κουσνέρ, νεαρό τότε φοιτητή που επισκεπτόταν το νησί.
Οι ιστορικοί αναφέρουν πως απέκτησε τουλάχιστον επτά παιδιά.
«Πολιτικά, ως επαναστάτης, απορρίπτω την ιδέα να μπερδεύεις την οικογένεια με την πολιτική. Αυτές οι ιστορίες με τις πρώτες κυρίες, τις βρίσκω αληθινά γελοίες», έλεγε το 2002 στον αμερικανό κινηματογραφιστή Όλιβερ Στόουν, σ’ ένα ντοκιμαντέρ.
Σ’ αυτή τη βιογραφία, αποκάλυπτε πως δεν ήταν παντρεμένος με την Ντάλια Σότο ντελ Βάγε, την ξανθιά με τα πράσινα μάτια που ήταν μικρότερή του 15 χρόνια και με την οποία έζησε από τη δεκαετία του 1980 σ’ ένα σπίτι στη δυτική Αβάνα.
Πρώην δασκάλα, η «Λάλα», την οποία γνώρισε το 1961 στη διάρκεια μιας εκστρατείας του καθεστώτος κατά του αναλφαβητισμού, είναι η μητέρα πέντε από τα παιδιά του: των Αλεχάντρο, Άλεξ, Αντόνιο, Αλέξις και Άνχελ, όπως ο πατέρας του Κάστρο.
Ο Φιντέλ Κάστρο υποστήριζε πως δεν είχε παντρευτεί παρά μόνο μία φορά, στις 12 Οκτωβρίου 1948, με την Μίρτα Ντίας-Μπαλάρτ, μια φοιτήτρια της φιλοσοφίας κόρη εύπορης οικογένειας και μητέρα του μεγαλύτερου γιού του, του Φιντελίτο, ενός 67χρονου σήμερα πυρηνικού φυσικού. Πήρε διαζύγιο το 1954, αφού έμαθε πως εκείνη μισθοδοτούνταν από το υπουργείο Εσωτερικών ενώ εκείνος σάπιζε στη φυλακή μετά την αποτυχημένη επίθεση εναντίον του στρατοπέδου Μονκάδα (1953), επιχείρηση με την οποία δημιουργήθηκε ο μύθος του.
Στο μεταξύ είχε ερωτευθεί το 1952 τη Νατάλια Ρεβουέλτα, την «Νάτι», μια ωραία παντρεμένη ξανθιά, η οποία τον Μάρτιο του 1956 του χάρισε μια κόρη, την Αλίνα, που διέφυγε το 1993 από την Κούβα και ζει από τότε στο Μαϊάμι. Στα μέσα του 1955, ο Κάστρο είχε επίσης σχέση με μια κρεολή, την Μαρία Λαμπόρντε, ακτιβίστρια του κινήματός του, από την οποία θα αποκτήσει άλλον έναν γιο, τον Χόρχε Άνχελ.
Όμως μια από τις γυναίκες με τη μεγαλύτερη επιρροή στη ζωή του Φιντέλ Κάστρο ήταν αναμφισβήτητα η Σέλια Σάντσες, την οποία είχε γνωρίσει το 1957 στο αντάρτικο της Σιέρα Μαέστρα. Υπήρξε το δεξί του χέρι, η έμπιστή του, η προσωπική γραμματέας του και ίσως περισσότερα μέχρι τον θάνατό της από καρκίνο το 1980.
Με εξαίρεση την Αλίνα, όλα τα παιδιά του ζουν στην Κούβα, αλλά πάντα προφυλάσσονταν από την προσοχή των μέσων ενημέρωσης. Ο ακούραστος πρωτεργάτης της κουβανικής επανάστασης παραδεχόταν πως είχε αφιερώσει λίγο μόνο χρόνο στα παιδιά του, όμως ήλπιζε ότι ήταν «ένας καλός πατέρας το διάστημα που πέρασα μαζί τους», είχε πει στον Όλιβερ Στόουν.