Esta casa estaba en la calle Segovia esquina con la de Caños Viejos, hoy en día solo queda de ella un muro de sillares y un escudo.
La casa de Pastor tiene dos cosas importantes a destacar, una es la leyenda sobre su nombre que se ha transmitido de generación en generación y otra que en una de sus paredes aparece y se conserva el que seguramente sea el escudo más antiguo de Madrid.
Leyenda
Su nombre viene del siglo XVII, por lo visto la casa pertenecía a un arcipreste de nombre José que poco antes de morir intentó dejar todos sus bienes a los pobres a los cuales había ayudado toda su vida, contó con la oposición de sus deudos y en una carta redactada a un escribano dispuso de su última voluntad. Al morir y abrir el sobre vieron que había dispuesto que su casa sería entregada a la primera persona que cruzase la Puerta de la Vega, al amanecer, el primero en cruzar la puerta fue un pastor con sus ovejas, el pastor se quedó con la casa y ésta fue conocida desde entonces como la Casa del Pastor.
Escudo
Otra mención merece el escudo, algunas fuentes lo datan en el siglo XIV, pero lo más seguro es que sea una reproducción de un escudo del XVI pero hecho en el siglo XVII. Posiblemente se trate del único vestigio que queda de la ya desaparecida fuente de los Caños Viejos, la cual formaba parte de los viajes de agua que abastecían de la misma a la ciudad. con la llegada del Canal de Isabel II perdió su función y fue desmantelada, dejando solo el blasón adosado a la pared.
La casa se mantuvo en pie de una manera más o menos decente hasta mediados los años 40, se fue degradante paulatinamente hasta que en 1972 fue derribada dejando solamente el muro que contenía el escudo, este se cubrió con ladrillos hasta que en 1988 se construyó una nueva casa conservando el muro de sillares y el escudo.
En esos años hubo una gran polémica con los vecinos de la zona, dada la relevancia del escudo y del entorno en que se encuentra, se pensaba que se podía salvar de la especulación, y se empezó a hablar de cuatro túneles o pasadizos subterráneos que se dirigían a Palacio, Puerta de Moros, Puerta Cerrada, Alto Extremadura.
Se pensó en reconstruir el edificio y destinarlo a centro turístico para información sobre el antiguo Madrid. Se realizaron catas arquitectónicas donde se comprobó la existencia de pozos y galerías del siglo XVII y XVIII, aunque alguna conducción de agua podría ser anterior, se llegó a la conclusión que los restos encontrados no eran de una gran importancia arquitectónica y se construyó la vivienda actual en cuyo interior se conserva un pequeño patio central de sillería en la planta baja.
Fuentes:
Las calles de Madrid de Pedro de Répide
El Antiguo Madrid de Ramón de Mesoneros Romanos
Madrid 
Una respuesta a “La Casa del Pastor”