کاخ سفید در سال ۱۸۱۴ (در طول جنگ ۱۸۱۲) توسط ارتش بریتانیا صدمه فراوان دید و محتویات آن به تاراج رفت ولی مدت زمان کمی بعد از ویرانی اقدام به بازسازی آن شد
آن سال تنها زمانی بود که پایتخت آمریکا مورد حمله قرار گرفت و کاخ سفید و چند ساختمان دیگر در دوران جیمز مادیسون، چهارمین رئیسجمهوری آمریکا سوخت و صدمه دید. نیروهای اشغالگر 26 ساعت پایتخت آمریکا را تصرف کردند و پس از آن به خاطر رعد و برق و طوفان به کشتیهای خود بازگشتند.
کاخ سفید در سال ۱۸۱۴ (در طول جنگ ۱۸۱۲) توسط ارتش بریتانیا صدمه فراوان دید و محتویات آن به تاراج رفت ولی مدت زمان کمی بعد از ویرانی اقدام به بازسازی آن شد و در اکتبر سال ۱۸۱۷ جیمز مونرو، رئیسجمهوری وقت آمریکا در کاخ سفید که فقط قسمتی از آن بازسازی شده بود، سکنی گزید. کاخ سفید در طول سالیان متمادی چندین بار بازسازی و گسترش یافته است.