Von Friesenhofen herkommend führt eine mit altem Baumbestand bewachsene Allee direkt auf die schmiedeeisernen Tore des Schlosses zu. Seine Entstehung verdankt Schloss Rimpach der Jagdleidenschaft eines adeligen Herrn und hohen kirchlichen Würdenträgers: Franz Carl Eusebius Graf zu Waldburg-Friedberg und Trauchburg (1701-1772). Heute ist das ehemalige Jagdschloss privat bewohnt und  lediglich von außen zu besichtigen. Die Schlosskapelle ist zu Gottesdiensten geöffnet; ein Fenster in der Tür ermöglicht einen Blick ins Innere.