Wo jetzt Schloß Vigolo sich erhebt, gab es in der urgeschichtlichen Zeit ein „castelliere“, eine alte Art von kleinem Dorf der Frühgeschichtezeit.
Man denkt, dass es, wie das „castelliere“ in Castellar in der Nähe von Bosentino, von der Urbevölkerungen der Bronzezeit (1.500 – 900 v. Chr.) und auch der Eisenzeit (900 – 100 v. Chr.) gebraucht würde.
Das „castelliere“ wurde nicht nur als letzte Zuflucht aber auch als befestigtes Ort benutzt, um dort auch zu leben.
Schon in der Römerzeit nimmt das „castelliere“ die Konnotation einer kleinen Festung, da unter dem alten Turm fuhr die Valsugana mit Trient verbindende Straße durch.
Für lange Zeit waren die Eigentümer des Schlosses die Landbewohner, die sogenannten „Nachbarn“.
Im Spätmittelalter war das Schloss unter Kontrolle des Fürstbischofs von Trient.
Die Nachbarn hatten die Möglichkeit, das Schloss zu bewohnen: sie erwiderten diese Verfügbarkeit der Bischof durch die Belzahlung der bei den „Regole“ aufgesetzten Tribute.
Mit dem Aufstieg von Friederich II von Schwaben vertraute das bischöfliche Fürstentum das Eigentum des Schlosses einer lokalen treuen Familie an, da er besorgt darüber war, dass das Schloss in die falschen Händen einiger kaisertreuen Familien geraten könnte.
Die Vertreter des Klerus wurden von der Diözese von Feltre erwählt, während die Vertreter der adeligen Regent-Familien wurden von der Diözese von Trient ernannt.
Im Jahr 1477 ergriff die Familie Tabarelli de Fatis von Terlago Besitz von dem Schloss.
Das heutige Aussehen des Schlosses führt auf in den XV und XVII Jahrhunderten gemachte Wiederaufbaue zurück, da es in dem XIII Jahrhundert von den Ezzelini angegriffen wurde und zahlreiche Teilabbruche zerstörten die originale Struktur des Gebäudes, außer dem Turm.
