তাজমহলের নির্মাণ কাজ শেষ হতে না হতেই শাহ জাহান তার পুত্র আওরঙ্গজেব দ্বারা ক্ষমতাচ্যুত ও আগ্রার কেল্লায় গৃহবন্দি হন। কথিত আছে, জীবনের বাকি সময়টুকু শাহ জাহান আগ্রার কেল্লার জানালা দিয়ে তাজমহলের দিকে স্থির দৃষ্টিতে তাকিয়েই কাটিয়েছিলেন। শাহ জাহানের মৃত্যুর পর আওরঙ্গজেব তাকে তাজমহলে তার স্ত্রীর পাশে সমাহিত করেন। একমাত্র এ ব্যাপারটিই তাজমহলের নকশার প্রতিসমতা নষ্ট করেছে। ১৯ শতকের শেষ ভাগে তাজমহলের একটি অংশ মেরামতের অভাবে খুব খারাপভাবে নষ্ট হয়। ১৮৫৭ সালের সিপাহী বিপ্লবের সময় ইংরেজ সৈন্যরা তাজমহলের বিকৃতি সাধন করে আর সরকারি কর্মচারীরা বাটালি দিয়ে তাজমহলের দেয়াল থেকে মূল্যবান ও দামি নীলকান্তমণি খুলে নেয়।