Das Chateau mit dem viereckigen Schlossturm und dem herrschaftlichen Wohntrakt wurde im 12. Jahrhundert von den Baronen de Castelnau erbaut.
Vor allem unter dem Gesichtspunkt der militärischen Architektur bietet der Verteidigungsbau einen interessanten Anblick, besonders was die Anlagen des Hauptplatzes betrifft. Sie können hier die Zeugnisse der Waffenentwicklung bemerken, z.B. die Schießscharte für Kanonen, die den engen Schießscharten für die Bogenschützen folgten.
Nachdem es im 16. und 17. Jahrhundert zum Lustschloss umgebaut wurde, verwahrloste es im 17. Jahrhundert immer mehr. Dem letzten Baron de Castelnau folgte 1715 die Familie de Luynes.
Jean Mouliérat, der Tenor der Opéra-Comique, rettete das Schloss am Ende des 19. Jahrhunderts vor dem Zerfall indem er es restaurierte. Heute beherbergt es eine wichtige Sammlung von Möbeln und anderen Objekten aus der Zeit des Mittelalters bis zum 18. Jahrhundert.