La costruzione della fortezza d'importanza strategica ebbe inizio dopo l'invasione dei tartari, intorno alla metà del ‘200. Le mura furono rinforzate da torri e bastioni e, sul lato nord-occidentale della fortezza, sullo scoglio più ripido della roccia, fu costruita la vecchia torre. Nonostante ciò gli abitanti di Eger furono trucidati. Per ripopolare la città, in cui risiedeva già il popolo magiaro, si favorì l’insediamento di coloni stranieri tra i quali italiani. 

Nel corso dei secoli successivi, la protezione della fortezza fu incrementata soltanto mediante piccole variazioni apportate. 
Nel XV secolo, a causa delle campagne militari degli ussiti cechi, la fortezza fu ulteriormente rinforzata. I lavori di maggior entità a livello di trasformazioni furono apportati da Tamás Varkocs, che fu capitano della fortezza dal 1542 al 1549. A lui appartiene l'opera di suddivisione della fortezza in castello esterno ed interno. Varkocs fece costruire la porta Setét comunicante e collegante le due parti, mentre le mura furono ulteriormente rinforzate da argini. 

La fortezza, nel 1552, fu abilmente difesa da un manipolo di eroi (composto da uomini e donne) che sotto la guida del leggendario capitano lstván Dobó resistette all'attacco dell'esercito turco di Ali pascià, venti volte più numeroso. L'eroica resistenza, ancor oggi segno del patriottismo nazionale, fermò per alcuni decenni l’espansione dell’Impero Ottomano. All’avvenimento, lo scrittore Géza Gárdonyi dedicò il bellissimo romanzo "Le stelle di Eger" tradotto in diverse lingue. (La tomba dello scrittore, all'interno della fortezza, è un vero e proprio luogo di culto.) 

Durante il successivo assedio del 1596, anche Eger cadde in mano turca fino alla liberazione del 1687.