Edifici aïllat que, juntament amb la casa Teresa, forma un conjunt envoltat per un ampli jardí i situat prop de l'estació del ferrocarril. És un edifici de planta complexa, resultat de les nombroses ampliacions que ha experimentat. És de dues plantes al cos central posterior i d'una a la resta. La coberta és a quatre vessants, plana o de volta de canó rebaixada. Sobresurt de la construcció una llanterna en forma de cúpula semiesfèrica amb tambor cilíndric damunt una base octogonal. La façana principal és simètrica. Presenta un pòrtic d'accés centrat, amb frontó circular amb relleus. Als costats s'obren finestres dobles allindades i separades per pilastres acabades en capitells campaniformes que recorren tota la façana. Els paraments presenten esgrafiats. Una cornisa perimetral amb palmetes recorre el conjunt de la façana. La part posterior és simètrica en el cos central i asimètrica en els cossos laterals, inacabats. Decorativament utilitza elements neogrecs i neoegipcis. Al pòrtic h ha dues escultures, una del poeta Cabanyes, esculpida per Campeny i l'altra de l'arquebisbe Armanyà, obra de Fuxà.
El sr. Gumà i Ferran va cedir els terrenys per a la construcció de la biblioteca-museu l'any 1881. L'any següent s'iniciaren les obres segons projecte del mestre d'obres Jeroni Granell. L'acabament i inauguració del nou edifici data de 1884, segons consta en una làpida clavada a la façana. Tres anys més tard se'n va fer una ampliació, dirigida per l'arquitecte B. Pollés i Vivó. Entre 1920 i 1930 experimentà una nova ampliació, dirigida en aquest cas per J. M. Miró i Guibernau. El 1951 es va reformar l'interior de la pinacoteca i el 1979 es van reparar les cobertes sota la direcció de l'arquitecte Jordi Ambrós, reparacions encarregades pel Ministeri de Cultura. El 1981 l'Ajuntament portà a terme noves obres de reforma i condicionament. Dos anys més tard la Generalitat es va fer càrrec de les obres re restauració de la Biblioteca, segons projecte de l'arquitecte Bonet i Correa.
La imatge escultòrica de l'arquebisbe Armanyà es va col·locar l'any 1887. La del poeta Cabanyes s'instal·là sis anys després.
La Biblioteca Museu Víctor Balaguer, acull una col·lecció d'obres d'art i més de 22.000 volums. Víctor Balaguer va llegar-la a la vila l'any 1900.