Castielfabib fue la única villa de la comarca del Rincón de Ademuz que acogió en su término órdenes monásticas. Una de las primeras en asentarse fue la orden Agustina, que llegó a la villa en la última década del siglo XIV. Los agustinos fundaron entonces el convento de Nuestra Señora de Gracia, advocación característica de esta congregación. En el siglo XVI los monjes agustinos ya habían abandonado el monasterio, cuyas dependencias (claustro, refectorio, etc) pronto caerían en decadencia. De todo el complejo, en la actualidad únicamente queda en pie su capilla, convertida en ermita, bajo el mismo título que ostentó originalmente: Virgen de Gracia.

El edificio es de amplias dimensiones, especialmente si lo comparamos con otras ermitas del término. Tiene una sencilla planta rectangular, de nave única, sin capillas laterales y con un espacioso presbiterio. Éste último destaca en altura y se cubre con una interesante bóveda gótica, en cuyo centro resalta un florón de tracerías ricamente esculpidas. Posee una pequeña sacristía adosada al muro del Evangelio.

Dada la particular situación de la iglesia parroquial de Nuestra Señora de los Ángeles de Castielfabib, que no permitía muchas inhumaciones ni dentro ni fuera del templo, la ermita de Gracia se convertiría, especialmente desde el siglo XVI, en el habitual lugar de enterramiento en la villa. Dicha tradición se mantiene actualmente en el camposanto adosado al muro del edificio.