Η ημερομηνία γέννησης του δεν είναι ακριβής γιατί το φθινόπωρο του 1941 το χωριό Ανώγεια καταστράφηκε και μαζί του καταστράφηκαν και τα χαρτιά όλων των κατοίκων του χωριού. Έτσι χάθηκαν και χαρτιά του Νίκου Ξυλούρη με αποτέλεσμα να αμφισβητείται η ημερομηνία γέννησης του.
Στα πέντε του χρόνια, όταν οι Γερμανοί έκαψαν το χωριό του, ξεριζώθηκε από τον τόπο του μαζί με τους υπόλοιπους κατοίκους, οι οποίοι μεταφέρθηκαν σε χωριό της επαρχίας Μυλοποτάμου όπου παρέμειναν μέχρι και την απελευθέρωση της Κρήτης. Αδέλφια του είναι οι επίσης γνωστοί μουσικοί της κρητικής μουσικής ο Αντώνης Ξυλούρης (Ψαραντώνης) και ο Γιάννης Ξυλούρης (Ψαρογιάννης) .
Η οικογένεια του Ξυλούρη ήταν φτωχή και γενικά τα χρόνια εκείνα του 1930 ήταν δύσκολα για τους Ανωγιανούς. Λίγο το λάδι, λίγο το ψωμί, ο τόπος ξερός για να φυτέψεις, να ποτίσεις και το χωριό εντελώς κατεστραμμένο. Σ’ αυτή τη γωνιά της γης ο Νίκος Ξυλούρης κάνει τα πρώτα του βήματα.