Das Schloss Montorge ist das Symbol der unablässigen Kämpfe, die während des ganzen Mittelalters zwischen den Bischöfen von Sitten und den Grafen von Savoyen ausgetragen wurden. Es wurde 1233 von Aymon de Chablais, dem Sohn des Grafen von Savoyen, erbaut, der so das Rhonetal und den Durchzug ins Oberwallis kontrollieren wollte. Für den Bischof von Sitten stellte es eine echte Provokation dar, denn es war ein Übergriff auf seine Ländereien. Die Errichtung dieser Festung auf bischöflichem Territorium hatte deshalb blutige Kämpfe mit dem Haus Savoyen zur Folge. Sie endeten schliesslich mit der Einnahme des Schlosses durch den Bischof Henri de Rarogne in 1264.
In der Folge und das ganze 14. Jahrhundert hindurch wurde Montorge zu einem wichtigen Zankapfel in den Konflikten und Bündnissen der Bischöfe mit den Grafen von Savoyen. Montorge wechselt also je nach politischen Umständen den Besitzer. Dieses unruhige Umfeld führte schliesslich zur Zerstörung der Festung. Sie wurde 1417, im Laufe des „Raron-Kriegs“ zwischen der mächtigen, dem Landadel entstammenden Familie und der nach Freiheit dürstenden Walliser Bevölkerung, in Brand gesteckt. Seit dieser Zeit wurde das Schloss nicht mehr wiederaufgebaut, es sind nur noch Ruinen übrig.
Das Schloss Montorge wurde auf einem Felsrücken erbaut. Im Norden machte es ein Steilhang unzugänglich, während der freiliegende grasbewachsene Südhang keinen unbemerkten Aufstieg ermöglichte. Um die Lücken an der Ost- und Westflanke zu schliessen, wurden mehrere Verteidigungsanlagen errichtet: Gräben, Vorposten, eine befestigte Brücke … Ehe man in die Festung eindringen konnte, musste man aber noch die Wache und den Eingangsturm passieren. Im Inneren befanden sich das Hauptgebäude mit seinem Nebengebäude und einer Zisterne im Kellergeschoss. Heute kann man nur vermuten, wie sie ausgestattet waren, aber sicherlich ähnlich wie die befestigten Häuser auf dem Valeria-Hügel.
Auf dem höchsten Punkt des Hügels ragte ein Späh- und Alarmturm empor, der es aufgrund seiner dominanten Lage gestattete, mit zahlreichen anderen Schlössern des Rhonetals zu kommunizieren. Möglicherweise ist er älter als das Schloss selbst. An der Stelle, an der heute die Marienstatue steht, wurden keine mittelalterlichen Spuren gefunden.
In den ersten Jahren nach 2000 machte man sich auf dem Schlosshügel daran, das Gestrüpp zu entfernen und das von Pflanzen überwucherte Mauerwerk freizulegen. Dadurch konnte man die archäologischen Reichtümer erneut entdecken und Konsolidierungs- und Restaurierungsarbeiten durchführen.
