Tout commence en avril 1879, lorsque Ferdinand Cheval, facteur de campagne, trébuche sur une pierre qui a failli le faire tomber. Interpelé par sa forme bizarre, il la met dans sa poche pour pouvoir l’admirer tranquillement chez lui. Le lendemain, il retourne au même endroit et trouve d’autres pierres, encore plus particulières et encore plus belles. Il interprète alors ça comme la nature qui exprime son art par la sculpture. Cela éveille en lui un rêve : celui de se lancer dans la maçonnerie et l’architecture afin de créer lui-même quelque chose à son tour.

C’est ainsi qu’il imagine un palais inhabitable dont les détails lui sont inspirés par la nature, les cartes postales et les magazines illustrés qu’il a pu distribuer. Il commence alors ce projet fou, dans son jardin, et va consacrer 33 ans de sa vie à le bâtir seul, pendant son temps libre. Il profitera de ses tournées où il parcourt une trentaine de kilomètres par jour, avec sa fidèle brouette, pour ramasser des pierres pour sa construction.

Après avoir terminé son palais et alors âgé de 77 ans, il a encore eu le courage de réaliser un tombeau qui lui aura pris 8 années supplémentaires. C’est là où lui et toute sa famille repose à l’heure actuelle. Il est décédé le 19 août 1924 et le Palais est revenu à ses deux petites filles qui l’ont ensuite vendu à la commune. Le Palais Idéal du Facteur Cheval a été classé monument historique en 1969 et accueille aujourd’hui des centaines de milliers de visiteurs.