يقع مسجد الرفاعي بمنطقة القلعة بمصر القديمة، يوجد في جهة اليمين بيت حسن فتحي، وهذا البيت أحد البيوت الأثرية التي يزورها السياح ويعود تاريخ هذا البيت الأثري إلى العصر العثماني، كما يوجد في هذه المنطقة مسجد السلطان حسن وهو في واجهة مسجد الرفاع.
أمرت والدة الخديوى إسماعيل خوشيار هانم ببناء مسجد الرفاعي في عام 1869 ميلادى، وقد كلفت حسين باشا فهمي بتنفيذ هذه المهمة ولم يكتمل بناء هذا المسجد وبعدها توفيت خوشيار هانم، ولهذا توقف بناء المسجد بشكل نهائي لمدة تزيد عن خمسة وعشرون عاما.
أطلق على هذا المسجد اسم مسجد الرفاعي نسبة إلى الإمام أحمد الرفاعي، يضم هذا المسجد العديد من المقابر الخاصة بالأسرة الحاكمة في مصر، وكان هذا هو السبب الرئيسي الذي دفع إلى خوشيار هانم إلى إعطاء أوامر ببنائه.