Die erste Befestigungsanlage auf einem Hügel über dem Trattnachtal wurde von Ortlof v. Tollet im Jahre 1170 erbaut. Er wurde zum Namensgeber des ersten Sitzes und später auch der ganzen Ansiedlung. Es war damals sicherlich keine Burg im heutigen Sinn, sondern vermutlich ein befestigter Holzbau mit Palisaden und Gräben.
Erweitert wurde die Anlage, als sie 1331 in den Besitz der Lehrbichler kam, die vermutlich wie der erste Besitzer dem Ritterstand angehörten und Tollet zu Lehen von Ort am Traunsee bekamen.
Die nächsten Besitzer stammten aus dem berühmten Geschlecht der Jörger. Durch Heirat mit Dietmut von Lehrbichel gelangte im 14. Jahrhundert Helmhart IV. Jörger in Besitz des Schlosses. Die Jörger waren ein in der Gegend ansässiges Adelsgeschlecht. Ursprünglich stammen sie aus St. Georgen bei Tollet, wo ihre ersten Burgen standen.
Die Jörger stiegen im Laufe der Zeit zu den höchsten Ämtern im Staat auf und erwarben riesige Besitztümer und zahlreiche Schlösser und Edelsitze. Einer der berühmtesten Vertreter der Tolleter Linie war Wolfgang Jörger IV., der nicht nur zum Freund Kaiser Maximilians I., sondern auch 1513 zum Landeshauptmann ob der Enns wurde.
Seine Frau Dorothea und seine Kinder waren Protestanten der ersten Stunde. Seine Söhne studierten in Deutschlang und lernten Luther persönlich kennen, Dorothea stand nach dem Tod ihres Mannes in regem Briefkontakt mit Martin Luther: Dieser sandte ihr auch den ersten lutherischen Prediger Oberösterreichs, Martin Stifel, nach Tollet.
Der protestantische Glaube wurde für das Geschlecht der Jörger so wichtig, dass sie den neuen Glauben selbst in der Zeit der Gegenreformation mit allen Mitteln verteidigten. Dieses Festhalten an Luthers Lehren sollte letztendlich zum Untergang des Geschlechtes führen.
Hans V. Jörger von Tollet ließ das Schloss zwischen 1601 und 1611 neu im Stil der Renaissance erbauen. Sein Name findet sich auch im Stuck des Festsaales im ersten Stock. Doch er sollte auch den Untergang der Jörger von Tollet erleben. Er war Vertreter der evangelischen Stände und stellte sich offen gegen die Pläne zur Rekatholisierung Kaiser Ferdinands, er lehnte sogar dessen Huldigung ab. Wegen Hochverrats angeklagt, konnte er durch ein Bittgesuch zwar sein Leben retten, verlor aber fast seinen ganzen Besitz, darunter auch sein Stammschloss Tollet.
1620 wurde Tollet beschlagnahmt.
Tollet ging daraufhin um 1625 zu einem Schleuderpreis an den ärgsten Feind der Protestanten, an den verhassten Statthalter Adam Graf Herberstorff, der traurige Berühmtheit durch das Frankenburger Würfelspiel erlangt hatte. Lange erfreute er sich jedoch nicht seines Besitzes, er starb schon sechs Jahre später.
1738 wurde die Kapelle als Marienkapelle durch den Bischof von Passau geweiht, sie bekam eine historistische Ausstattung.
Das Schloss wurde an die Familie Sprinzenstein verkauft, in deren Besitz es bis 1750 blieb. Danach wechselten die Besitzer häufig (Fueger, Stieber, Peckenzell, Bocella (1831), Stremayr).
Beginn des 18.Jhds. wurde der Turm umgebaut, Ziffernblatt der Turmuhr – Nachbildung der Landhausturmuhr in Linz
Bis Anfang des 19. Jhd. stand auf dem Gelände noch eine Vorburg nach deren abriss die Gartenanlage terrassenartig angelegt wurde.
Erst als das Schloss 1846 an die Familie Revertera-Salandra aus Neapel kam, wurden wieder Maßnahmen zur Verschönerung und Renovierung getroffen. So wurde eine Straßenkehre angelegt um die äußerst steile Steigung zu überwinden, das Schloss neu verputzt und 1869 wurde neben der Taverne über dem aufgefüllten Burggraben ein Stallgebäude nach englischem Muster erbaut. Die anderen Nebengebäude wurden nach und nach abgerissen.
Nach einem Blitzschlag wurde unter Friedrich Revertera 1868 statt des steilen Satteldaches ein Dach mit Steil- und Flachflächen aufgesetzt und der Turm aufgestockt sowie etwas umgeformt. Einzelne Jugendstilelemente finden sich in der Fassade. Im Großen und Ganzen blieb der Charakter des Baues aber seit der Renaissance erhalten. Am Turm findet sich auch das Wappen der Revertera, das von zwei Löwen gehalten wird. Die Abschlussgitter des Hofumganges stammen aus dem Jahr 1607 und umfassen 48 Felder mit 46 verschiedenen Motiven.
Während des 2.WK war das Schloss beschlagnahmt durch die dt. Regierung, Unterbringung einer Schule für Arbeiterführerinnen, später war es ein Lazarett und ein Durchgangslager für Flüchtlinge und eine Kaserne für eine amerik. Panzereinheit
1946 – 1976 bäuerliche Bildungsanstalt
1980 Einzug des Bezirksheimathausvereins und Errichtung eines Museums
Name Tollet:
Talöd - -siedlung mit geringem Ertrag (wahrscheinlichste Deutung)
Tol – Graben
Doll - Pflock,Nagel
Tollmann - Scharfrichter