Отступая, варвары подожгли дворец, однако полностью он не погиб благодаря тому, что при перестройке в середине XIX века были использованы пожаробезопасные перекрытия в Арсенальном и Кухонном каре. И всё же это выглядело чудовищно: обуглившиеся развалины и скелет пригородного дворца. Восстановление этого архитектурного шедевра казалось тогда невозможным.
Реставраторы опасались, что воссозданные произведения великих зодчих станут лишь макетами первоначальных сооружений. Но хранители музея настаивали на восстановлении. Их поддержали и некоторые архитекторы.