Zsigmond király utódja, első fia Albert volt, aki alig 1,5 éves uralkodása után 1439. október 17-én meghalt. A magyar nemesi rendek már 1440-es év elején III. Ulászló lengyel királyt hívták meg a magyar trónra. Akkoriban a magyar korona őrzési helye Visegrádon volt, ahol az ott tartózkodó özvegy Luxemburgi Erzsébet magyar királyné a megszületendő gyermekének akarta biztosítani, és Kottaner Jánosnét megbízta a korona ellopásával, és Erzsébet királynéval Komáromba távozotak, ahol 1440. február 22-én megszületett a későbbi V. László magyar király. Komáromból elindulva az első éjszakát Tatán töltötték, majd Gerencsérvárhoz érkeztek. Kottanerné aki a királyné bizalmasának számított, visszaemlékezésében megjegyezte, hogy a szép vadászlakban nagyon rideg és kellemetlen szállásuk volt azon az éjszakán és ennivalót is alig találtak.

A XV. század közepén, 1446-ban kapta meg a Rozgonyi család a területet. 1466-ban várként írtak már róla. 1490 után Újlaki Lőrinc, Bakócz Tamásnak és rokonainak, az Erdődieknek adományozza. A török hódoltság alatt még falu is tartozik a várhoz, de nem játszott komoly szerepet és akkor már pusztulásnak is indult. Falait csak később javíttatta ki valamelyik új birtokosa, azonban néhány évtized múlva újra romlásnak indult.

Ujlaki Klára és Héderváry Imre szerelmének legendája

Korábban tartozott falu is a várhoz, amelynek lakói fontos szerepet töltötnek be a fentmaradt legendában. Ujlaki Miklós főúr aki akkoriban a Gerencsérvárban élt családjábal, egy német grófhoz akarta hozzáadni a lányát. Klára inkább a szökést választotta, és jegyeséhez Imréhez menekült, aki Vértes északi lejtőjén épült Vitány várának kapitánya volt. Klára apja nagyon megharagudott lányára és ostromot indított a szomszédos Vitány vára ellen. Az ostrom nem volt túl sikeres, mivel a vár körül több méter mély várárok húzodott ami megnehezítette a bejutást a falai közé. Nem is tudott volna bejutni, ha nem akad egy áruló, aki felfedte ,hogy van egy titkos folyosó, amely közvetlenül a várkapitány termébe vezetett. A támadó Ujlaki Miklós néhány katonájával a titkos folysón át bejutott a terembe, és elvakult dühében azonnal leütötte Héderváry Imrét, majd lányát magával hurcolta és szörnyű büntetésként a Gerencsérvár pincéjébe élve befalaztatta. A falu népe, akik jószívű szolgák voltak, egy titokban meghagyott résen keresztül rendszeresen élelemmel látták el a lányt, törődésükkel segítve életben maradását. A történet híre eljutott Mátyás királyhoz is, aki személyesen jelent meg a felgyógyult Héderváry Imrével karöltve a Gerencsérvár kapujában, hogy támogatásával kiszabadíthassa a lányt. Az igazságos Mátyás hatására megbékél egymással a két vár úr is, és a történet vége szerelemmel zárul.