پس از آن که روح بلند حافظ ( در 792 یا 791 ه.ق ) به مشعوق ازلی پیوست ، در خاک باغ مصلی که مأوا و محل گشت و تفرج او بود ، در زیر سایه سرو روانی به خاک سپرده شد . 65 سال پس از وفات او یعنی در سال 856 ه.ق. در زمان حکمرانی میرزا ابوالقاسم گورکانی ، شمس الدین محمد یغمایی که استاد و وزیر حکمران نام برده بود ، بر فراز قبر حافظ عمارت گنبدی بنا کرد و جلوی آن حوض بزرگی ساخت که از آب رکن آباد پر می شد .
این بنا در اوایل قرن یازدهم هجری در زمان سلطنت شاه عباس تعمیر گردید . در زمان نادر شاه افشار نیز تعمیراتی بر آرامگاه انجام گرفت . اما بنیادی ترین کار در زمان کریمخان زند بر روی آرامگاه انجام گرفت. او در سال 1189 ه.ق. ساختمانی اساسی بر روی آرامگاه حافظ ساخت . ساختمان او به شیوه ی بناهای زمان زندیه دارای تالاری با چهار ستون سنگی یک پارچه بود که از طرف شمال و جنوب گشاده و در دو طرف چپ و راست آن دو اتاق ساخته شده بود به گونه ای که مقبره ی حافظ در شمال تالار قرار می گرفت و در جنوب آن باغی بزرگ نمایان بود . این چهارستون با ارتفاع 5 متر هنوز هم در وسط تالار مقابل پله ها با نقوش رنگ باخته اما زیبا خودنمایی می کنند . همچنین کریمخان دستور داد تا سنگی از جنس مرمر برای قبر خواجه بتراشند و پس از آماده شدن سنگ دو غزل از غزل های حافظ را به خط نستعلیق که توسط حاج آقاسی بیگ افشار آذربایجانی نوشته شده بود ، بر روی آن حجاری کردند که این سنگ هنوز هم بر روی قبر قرار دارد . ابعاد این سنگ 40 *80*266 سانتی متر است . در بالای کتیبه ی سنگی و در میان ترنجی این جمله نوشته شده است : " انت الباقی و کل شی هالک ".
در زیر آن غزلی زیبا از حافظ در 12 سطر با مطلع :
مژده ی وصل تو کو کز سر جان بر خیزم
طایر قدسم و از دام جهان برخیزم
و دور آن نیز غزلی دیگر با مطلع :
ای دل غلام شاه جهان باش و شاه باش
پیوسته در حمایت لطف اله باش
نوشته شده است . همچنین در دو گوشه ی بالای سنگ ، این دو مصرع نوشته شده است :
بر سر تربت ما چون گذری همت خواه
که زیارتگه رندان جهان خواهد بود
و در گوشه پائینی سنگ دو مصرع زیر نوشته شده است :
چراغ اهل معنی خواجه حافظ
بجو تاریخش از خاک مصلی
که خاک مصلی به حساب ابجد بیانگر تاریخ وفات حافظ است .
پس از حکومت زندیه نیز افراد زیادی آرامگاه را تعمیر و مرمت کردند که برخی از آنان عبارتند از :
- در سال 1273 ه.ق. تهماسب میرزا ( مؤید ) حکمران فارس آرامگاه را تعمیر و مرمت کرد .
- در سال 1295 ه.ق. مرحوم فرهاد میرزا ( معتمدالدوله ) فرمانفرمای فارس معجری چوبی بر آرامگاه خواجه نصب کرد .
- در سال 1317 ه.ق. ملا شاه جهان زرتشتی ( اردشیر ) ساکن تهران بخاطر علاقه ای که به حافظ داشت بر مزار او رفته و تفألی به دیوان حافظ می زند که شعر زیر می آید :
ای صبا با ساکنان شهر یزد از ما بگو
کای سر حق ناشناسان گوی میدان شما
وی از این شعر خوشش آمده و تصمیم می گیرد بقعه و بارگاه مجللی بر روی قبر حافظ بسازد . به همین منظور مشغول به کار می شود و معجری بر فراز قبر می سازد ولی یکی از سادات متظاهر وقت به جرم آن که چرا یک شخص زرتشتی ( گبر ) می خواهد قبر حافظ را بسازد ، آن بنا را خراب کرد و شخص بانی را از این کار باز داشت . ( گفته شده است در آخر عصایش را به قبر حافظ می زند و خطاب به او می گوید : درویش می خواستند تو را نجس کنند ، نگذاشتم !)
هنوز آثار افتادن چوب بست ها بر روی سنگ قبر به صورت شکستگی در سنگ به چشم می خورد .
- در سال 1319 ه.ق. شاهزاده ملک منصور ( ملقب به شعاع السلطنه ) والی فارس معجری آهنین بر قبر حافظ ساخت و کتیبه ای را نیز بر بالای آن قرار داد .
- در سال 1310 خورشیدی فردی به نام دبیر اعظم بهاری که استاندار فارس بود ، سردر حیاط جنوبی و نارنجستان ان را سروسامان داد ، همچنین خیابانی در جلو آرامگاه احداث کرد و نام آن را« خرابات» گذاشت که بعدها به گلستان تغییر نام پیداکرد .
- در سال 1314 خورشیدی به کوشش مرحوم علی اصغر حکمت شیرازی (وزیر فرهنگ وقت) وعلی ریاضی (رئیس فرهنگ وقت) طرح نقشه ی آرامگاه حافظ ، به شکل کنونی آن با طراحی و نظارت مهندس « آندره گدار» شرق شناس و ایران شناس بزرگ فرانسوی تهیه شد و به مرحله ی اجرا درآمد و در سال 1316 به اتمام رسید.
طبق این نقشه در تالار ، چهار ستون وسط که در زمان زندیه احداث شده بود ، از دوطرف امتداد یافت و حافظیه به دو محوطه ،شامل باغ در جنوب، تالار و آرامگاه در شمال آن تبدیل شد.
در این ساختمان عمارت قدیمی کریم خان زند به صورت تالاری درآمد که 56 متر طول دارد و به وسیله ی 20 ستون سنگی بلند نگه داشته می شود که چهارستون یک پارچه ی کریم خانی در میان این ستون ها قرار دارد و 16 ستون دیگر دوتکه است که در سال 1315 شمسی ساخته و نصب گردیده است.