La torre d'Agell, per les seves proporcions, pren un caràcter senyorial. La tipologia adoptada ens apropa a la característica dels palaus medievals, ja que la planta quadrada genera al bell mig un pati i, entorn seu, una galeria. La disposició, en dos dels flancs de l'edifici, de dues torres que sobresurten de la volumetria recorda els palaus fortificats.

L'edifici, de dues plantes, té la coberta de teules planes d'encaix, a quatre vessants, i amb una barbacana sostinguda per cartel·les. El porxo semicircular que dóna accés a l'entrada s'envolta per columnes jòniques que sustenten una terrassa descoberta al primer pis. A la façana oposada hi ha una terrassa porxada, a la dovella central de la qual hi ha representat el relleu d'un ametller, emblema de la família propietària original.

La disposició de l'accés principal; l'aparició de terrasses i porxades on s'alternen columnes jòniques i, en d'altres, arcs de mig punt, donen a l'edifici certs ressons medievals i, alhora, clàssics. En les obertures, l'aplicació d'esgrafiats amb detalls de filigrana (obra de Joan Mirambell) i en un dels costats la disposició d'un banc encastat amb el respatller de rajoles decorades (obra de Francesc Domingo) acaben de dotar a l'edifici d'un caràcter noucentista. Aquest banc està enrajolat amb ceràmica de sanefes i motius florals i, a la part alta, hi ha tres dibuixos. En el del centre apareix un ametller amb la inscripció "L'Ametler, arbre de Catalunya". Els dibuixos laterals mostren una noia amb una cistella de flors i un pagès.

Al tractar-se d'una torre aïllada, va ser l'arquitecte Rubió i Tudurí qui projectà l'extens jardí estructurat geomètricament per l'art topiària, i va deixar que les onze hectàrees de bosc que envolten la finca creixessin de forma més espontània.

La torre s'edificà en una extensa finca rústica molt a prop de l'antiga capella de Santa Elena d'Agell, esmentada ja al segle X, i del Mas de "Ca l'Arnó", avui denominat "Cals Frares" (1235), que durant uns anys va ser la masoveria de la propietat.

Els terrenys eren, des del segle XVIII, propietat de la família de Teresa Amatller i Cros (1873-1960), filla del prestigiós xocolater, que en va ser la promotora. Un primer projecte es deu a Josep Sala i Comas, però, el 1918, fou Lluís Bonet i Garí qui se'n féu càrrec.

El 1943, Antoni Amatller va donar la casa a la Secció Femenina, que va destinar-la a un alberg. Recentment, la Generalitat de Catalunya va adquirir la casa i va condicionar-la per a que funcionés com a alberg de colònies. Les obres de reconstrucció de teulades, restauració i consolidació de façanes i afegiment d'una nova construcció foren dirigides per l'arquitecte Agapit Borràs.

En l'actualitat, l'edifici forma part de la xarxa nacional d'albergs socials de Catalunya.

Edifici de tres plantes d'estil noucentista, que manté les característiques originals des de la seva construcció. Reconeixible des de lluny per les dues torres acabades (de tres i quatre plantes) amb un sostre acabat en punxa. Cal destacar les façanes que estan arrebossades i decorades amb esgrafiats. També conserva el porxo semicircular que dóna accés a l'entrada, caracteritzat per la presència de sis columnes amb capitells d'ordre jònic. Sobre els capitells hi reposa un terrat descobert a l'alçada del primer pis, amb balaustrada, també de forma semicircular. A la façana oposada s'hi troba una altra terrassa coberta sobre un porxo amb arcada. En aquest indret, sobre la dovella central, hi trobem el relleu d'un ametller, emblema de la família.
Cal destacar també el banc adossat en un dels murs laterals, que es troba decorat amb un enrajolat de ceràmica amb sanefes i motius florals, una escena bucòlica i l'omnipresent ametller.
Adossat a la torre noucentista trobem un conjunt modern d'ordre racionalista.
La torre es troba envoltada per un gran i elegant jardí, que malgrat no tenir-ne evidències documentals, sembla que fou projectat per Nicolau Maria Rubió i Tudurí.

La finca, coneguda amb el nom de Torre Ametller, pertanyia a la família dels Amatller, concretament a Teresa Amatller i Cros, filla del fabricant de xocolata Antoni Amatller, i fou construïda els anys 20 del segle XX. Durant la Guerra Civil la Torre va servir per allotjar-hi refugiats. Posteriorment la propietària es veié forçada a cedir la casa al règim, que l'habilità per la Secció Femenina de l'Auxili Social, i fou administrada per monges fins l'any 1977. Posteriorment seria orfenat i finalment adquirida per la Generalitat de Catalunya.

En l'actualitat és un alberg de la Generalitat de Catalunya, amb número de registre DGJ8 i capacitat de 167 places.