Die Iburg geht zurück auf eine sächsische Fliehburg aus dem 8. Jahrhundert, deren Wallanlage, auch "Sachsenmauer" genannt, eine Fläche von ca. 4 ha umschließt. Karl der Große ließ nach der Eroberung in der ehemals sächsischen Anlage eine Petrus-Kirche errichten. Ab 1134 beherbergte sie kurzzeitig ein Benediktinerinnen-Kloster, bevor im Jahre 1189 der Paderborner Bischof Bernhard II hier eine 180 mal 50 Meter große steinerne Festung errichten ließ.