In vorrömischer Zeit stand auf der Endmoräne, auf der heute das Schloss steht, eine Hallstattfestung. Im Mittelalter folgte eine kleine Burganlage, deren Überreste bei den Gewächshäusern im südlichen Unteren Hof noch sichtbar sind. Die Burg Zeil wurde 1598 abgebrochen und Truchsess Froben von Waldburg-Zeil (siehe Gemälde links) begann 1599 mit dem Bau des heutigen Renaissance Schlosses. Der Bau zog sich bis zu dessen Tod im Jahre 1614 hin. Da die Bauzeit in die Phase der Gegenreformation fiel, ließ Truchsess Froben zuerst Kirche und Stift (Hauskloster) errichten, erst danach das Schloss. Er ordnete auch an, täglich ein Hochamt, ein feierliches Gotteslob und eine Messe für die in der Gruft ruhenden Toten zu halten.