Este monasterio se fundó bajo la advocación de San José el 17 de febrero de 1585, nada menos que de la mano de San Juan de la Cruz.
La iniciativa partió de Doña Ana de Pacheco, esposa de Don Pedro Verdugo, proveedor de las armadas reales, quien habló con el P. Jerónimo Gracián -que se hallaba en Málaga en la fundación de los Padres Carmelitas-, sobre la conveniencia de que vinieran también las Madres Carmelitas a las que habría conocido quizá en Granada. Doña Ana prometió ayuda económica y la aprobación del Obispo, D. Francisco Pacheco de quien era pariente y que dio gustoso la licencia el 6 de diciembre de 1584.
Al tener que ausentarse el P. Gracián para ir a Portugal a la fundación de Lisboa, delegó la empresa fundacional en el P. Juan de la Cruz que lo tomó con verdadero empeño, escogiendo y acompañando personalmente a las monjas que serían las fundadoras del nuevo convento y que fueron las siguientes:
M. María de Cristo, profesa de San José de Ávila, fundadora de Granada, y que residía en Beas, como priora. María de Jesús, una de las fundadoras de Beas, como supriora y maestra de novicias; Lucía de San José, profesa de Beas y hermana del P. Gregorio Nacianceno; Catalina de Jesús, profesa de Granada, Catalina Evangelista, sobrina de la supriora, que pronto morirá trágicamente. Más adelante se agregarán
a la comunidad M. Antonia del Espíritu Santo, una de las cuatro primitivas de San José de Ávila y María de San Pablo, profesa de Caravaca.
Las monjas se establecieron en unas casas en la parroquia de los Mártires, que habían sido alquiladas por Doña Ana, y en espera de poder contar con casa propia. La espera fue breve, pues bien pronto encontraron una en la calle Santa María esquina a la calle de Sánchez Pastor. Tanto el convento como la iglesia se levantaron de planta, dirigido todo personalmente por San Juan de la Cruz. Cerca de tres siglos vivirían en ella, hasta que la exclaustración de Mendizábal las obligó a abandonarla. Convertida en un solar la recuperarían en 1877. En febrero del año siguiente pudieron venderlo y con su importe compraron la casa actual, que había sido fábrica de curtidos y tenía espacio suficiente para huerta e iglesia.
En octubre de ese año, después de la adaptación de la fábrica en convento se trasladaron las monjas reanudando la vida carmelitana. Está en el centro de la ciudad, en el barrio La Goleta.
San Juan de la Cruz, al fundar el convento, mandó escribir un documento que él firmó y que en uno de sus párrafos decía: “Fundóse en pobreza sin ningún arrimo temporal. Sea Dios servido de conservarle en ella hasta la consumación del siglo, para que se goce en las riquezas eternas para siempre con Dios. Amén.” Y el Señor atendería a este deseo del Santo pues la comunidad fue muy probada, e incluso este documento fue consumido por el fuego en 1936, con todo el archivo y obras de arte. Solamente se salvó de la barbarie la cabeza de una virgen dolorosa de Mena que las hermanas encontraron entre los escombros.