Erstmals wurde das Schloss um 1150 von den Grafen von Lechsgemünd erbaut. Es durchlief es eine Reihe von (Privat)-Eigentümern bis es durch Baron Hubert von Pantz, einem adeligen Unternehmer, erworben wurde. 1948 wurde durch ihn im Schloss Mittersill der "Sport & Shooting-Club", der damals exklusivste Club der Welt, gegründet und beheimatet. In der Folge wurde es erneut zum Ziel des internationalen Jet-Set. Viele namhafte Adelige, Industrielle und Filmstars trugen sich in der Folge im Gästebuch ein. Eine davon war Königin Juliana, die im Jahre 1937 ihre mehrwöchigen Flitterwochen auf Schloss Mittersill verbrachte. Gegen Mitte der 60er Jahre entschied dieser Club, das Schloss zu verkaufen. 2009 kam das Schloss erstmals in seiner Geschichte in Pinzgauer Hand. Umfangreiche, aber behutsam ausgeführte Arbeiten wurden ausgeführt, und so hat sich das Schloss zu einem romantisch-majestätisches Schmuckstück, thronend über Mittersill, entwickelt.
