Gustav Vasa lät bygga ut borgen till en stark befästning med många kanoner. Syftet var främst att ge kungamakten en befäst punkt i Småland för att förhindra fler uppror. Efter hand blev slottet emellertid en del av det nationella försvaret och belägrades av danskar vid några tillfällen. Med freden i Roskilde 1658 förlorade Kronoberg sin militära betydelse och fick fortsätta att förfalla.

Vid ruinen ligger Ryttmästargårdens café samt hemmahamnen för Smålands Ångbåt S/S Thor.

Från och med årsskiftet 2022/2023 är slottsruinen permanent stängd för besök p.g.a. rasrisk. Det är statens Fastighet som äger den och som har stängt den. Ryttmästargården och Ångaren Thor är fortsatt öppet.