El palacio de Rajoy -Pazo de Raxoi en gallego- actúa como cierre oeste de la plaza del Obradoiro, situándose justo enfrente de la catedral. Actualmente acoge a la sede del Ayuntamiento de Santiago. Esta magnífica arquitectura de estilo neoclásico, tomó su nombre de uno de sus mecenas: Bartolomé Rajoy Losada, arzobispo de Santiago que promovió su construcción con el fin de utilizarla como seminario.

Su edificación fue muy compleja, pues generó conflictos que acabaron por resolverse en los tribunales. La razón fue la custodia y propiedad compartida del espacio que debía ocupar: un espacio en el que se alzaban las cárceles de la ciudad –civil y eclesiástica- y un fragmento de la muralla de la ciudad, lo que implicaba tanto al Obispado como al Ayuntamiento. Ambas instituciones pugnaron por construir sendos proyectos: el ayuntamiento presentó en 1764 un proyecto de Lucas Ferro Caaveiro para ubicar allí su sede y, en 1766, el arzobispo Rajoy un proyecto del ingeniero francés Carlos Lemaur para erigir un seminario. Además, una tercera institución se sumó al conflicto: el Hospital Real, según el cual las obras podían atentar contra su propiedad. Finalmente, los tribunales resolvieron el entuerto de forma casi salomónica, decidiendo 1767 que el edificio albergase el Consistorio compostelano, el Seminario de Confesores y las cárceles. El proyecto elegido fue el del citado ingeniero Carlos Lemaur.

Siguiendo las trazas de Lemaur, las obras fueron dirigidas por fray Manuel de los Mártires y los maestros Juan López Freire y Alberto Ricoy, extendiéndose entre 1766 y 1772. El resultado final es un palacio de estilo francés, particularmente cercano al tipo desarrollado por Mansart y a algunos modelos italianos. Posee un carácter marcadamente horizontal, con una larga loggia porticada en el cuerpo inferior y dos cuerpos superiores de gran clasicismo con 50 vanos o nichos para puertas y ventanas en cada uno y que, en su parte central, se ordenan mediante columnas de orden colosal y capiteles de estilo jónico.

La austeridad y clasicismo de la fachada no excluye la presencia de elementos escultóricos, entre los que destaca el gran relieve historiado que cubre el frontón central de remate y la escultura que lo corona.

En el tímpano del frontón se desarrolla en relieve la batalla de Clavijo, batalla legendaria en la que, según la tradición, habría intervino el apóstol Santiago, apoyando y llevando a los cristianos hasta la victoria. El relieve fue diseñado por un pintor, el gallego Gregorio Ferro, y su ejecución se debió a los escultores, también gallegos, José Gambino y José Ferreiro. A José Ferreiro se debe también la escultura que corona dicho frontón, una representación ecuestre de Santiago como Matamoros.

También merece una visita la fachada posterior de la monumental arquitectura del palacio, actualmente muy visible para los peregrinos que con frecuencia pasan ante ella cuando se dirigen o regresan de la Oficina del Peregrino de la Catedral de Santiago, situada muy cerca del edificio.