El convento está situado en la Calle Costa Rica, en el barrio de San Carlos. Fue ésta una de las últimas zonas de expansión urbana de la ciudad en su búsqueda de espacios para el crecimiento. Construido por el Conde de O’Reilly, gobernador de Cádiz, en 1784 se tienen noticias de que las casas particulares que forman las manzanas de toda esta zona están siendo elevadas.