Die beiden im 13. Jahrhundert erbauten Türme sind nach Offizieren des Bischofs, dem Major und dem Viztum, benannt, die diese Türme bewohnten. In 1373 kaufte Bischof Guichard Tavel den Turm des Majors. Dieser wurde daraufhin während vier Jahrhunderten zum Hauptsitz der Bischöfe von Sitten. In der seither regelmässig renovierten Majoria sind aber noch etliche bischöfliche Ausbauten erhalten, wie der von Adrien Ier de Riedmatten (1529-1548) in Auftrag gegebene Kaminsaal. In diesem Saal wurde während des Ancien Régime ein Grossteil der Sitzungen des Walliser Landtags abgehalten. Bemerkenswert sind auch die prächtigen mit Stuckleisten verzierten Türrahmen an den Saaleingängen.
Der Brand von 1788 hatte für die Anlage verheerende Folgen. Trotz mehrerer Projekte sollte die Majoria nicht wiederaufgebaut werden, der Bischof bezog ein neues in den Jahren 1839-1840 erbautes Palais. Der vom Staat Wallis gekaufte Komplex Majoria-Viztum diente zunächst, bis zur Einrichtung des Kunstmuseums in 1947, als Kaserne. Das heutige Aussehen der beiden Türme geht auf mehrere Umgestaltungen im 20. Jahrhundert zurück. In 2007 wurden die Gebäude vollständig renoviert.
