Ante tal situación Ampudia ordenó que las fortificaciones de todos los rumbos fuesen desalojadas y que las fuerzas se movilizaran hacia el centro de la ciudad. Esta maniobra fue verificada a la media noche del 22, "en medio de un ruidoso desorden, provenido de que la tropa rehusaba abandonar sus posiciones sin combatir".
En la mañana del 23 las fuerzas sitiadoras, al mando de Taylor, habían bajado ya de la loma del obispado y tomado puntos estratégicos en la Quinta de Arista (esquina de Hidalgo y Martín de Zavala) ya en el Camposanto, a espaldas del templo de la Purísima. A las 10, la Brigada Quitman, los Rifleros de Mississippi y el Regimiento de Tennessee, reforzados por Henderson, habían ocupado los fortines abandonados y desde la Loma Larga y la Tenería disparaban hacia el centro.
El ataque por el poniente se recrudeció. A las 4 de la tarde una columna enemiga bajó por las dos calles (Padre Mier e Hidalgo). La lucha entonces se trabó "pecho contra pecho; arma contra arma"; oficiales y soldados sin distinción de grados. Los sitiadores, para poder avanzar, recurrieron a horadar las paredes de las casas, así se luchó hasta el oscurecer, logrando el enemigo llegar hasta la plaza de la Carne (esquina de Juárez y Morelos). Desde allí cañoneó la plaza de Armas (Zaragoza). En la catedral tenía Ampudia el cuartel general.
