Το Μουσείο ιδρύθηκε το 1961. Εμπνευστής του ήταν ο Γεώργιος Παπαστεφάνου – Προβατάκις. Αρχικά στεγάστηκε στο παλιό Δημοτικό Σχολείο της Ολυμπίας που αγοράστηκε από τον ιδρυτή του. Το 1964 το οίκημα καθώς και οι συλλογές περιήλθαν στην δικαιοδοσία της Επιτροπής Ολυμπικών Αγώνων.
Το 1972 εγκαινιάστηκε το νέο μουσείο και η εμπλουτισμένη από δωρεές κρατών αλλά και ιδιωτών συλλογή του παρουσιάζει την πλούσια ιστορία των σύγχρονων Ολυμπιακών Αγώνων.