La torre d'Agell, per les seves proporcions, pren un caràcter senyorial. La tipologia adoptada ens apropa a la característica dels palaus medievals, ja que la planta quadrada genera al bell mig un pati i, entorn seu, una galeria. La disposició, en dos dels flancs de l'edifici, de dues torres que sobresurten de la volumetria recorda els palaus fortificats. L'edifici, de dues plantes, té la coberta de teules planes d'encaix, a quatre vessants, i amb una barbacana sostinguda per cartel·les. El porxo semicircular que dóna accés a l'entrada s'envolta per columnes jòniques que sustenten una terrassa descoberta al primer pis. A la façana oposada hi ha una terrassa porxada, a la dovella central de la qual hi ha representat el relleu d'un ametller, emblema de la família propietària original. La disposició de l'accés principal; l'aparició de terrasses i porxades on s'alternen columnes jòniques i, en d'altres, arcs de mig punt, donen a l'edifici certs ressons medievals i, alhora, clàssics. En les obertures, l'aplicació d'esgrafiats amb detalls de filigrana (obra de Joan Mirambell) i en un dels costats la disposició d'un banc encastat amb el respatller de rajoles decorades (obra de Francesc Domingo) acaben de dotar a l'edifici d'un caràcter noucentista. Aquest banc està enrajolat amb ceràmica de sanefes i motius florals i, a la part alta, hi ha tres dibuixos. En el del centre apareix un ametller amb la inscripció "L'Ametler, arbre de Catalunya". Els dibuixos laterals mostren una noia amb una cistella de flors i un pagès. Al tractar-se d'una torre aïllada, va ser l'arquitecte Rubió i Tudurí qui projectà l'extens jardí estructurat geomètricament per l'art topiària, i va deixar que les onze hectàrees de bosc que envolten la finca creixessin de forma més espontània. La torre s'edificà en una extensa finca rústica molt a prop de l'antiga capella de Santa Elena d'Agell, esmentada ja al segle X, i del Mas de "Ca l'Arnó", avui denominat "Cals Frares" (1235), que durant uns anys va ser la masoveria de la propietat. Els terrenys eren, des del segle XVIII, propietat de la família de Teresa Amatller i Cros (1873-1960), filla del prestigiós xocolater, que en va ser la promotora. Un primer projecte es deu a Josep Sala i Comas, però, el 1918, fou Lluís Bonet i Garí qui se'n féu càrrec. El 1943, Antoni Amatller va donar la casa a la Secció Femenina, que va destinar-la a un alberg. Recentment, la Generalitat de Catalunya va adquirir la casa i va condicionar-la per a que funcionés com a alberg de colònies. Les obres de reconstrucció de teulades, restauració i consolidació de façanes i afegiment d'una nova construcció foren dirigides per l'arquitecte Agapit Borràs. En l'actualitat, l'edifici forma part de la xarxa nacional d'albergs socials de Catalunya.