Bywyd ar ôl oes Arglwyddi Gŵyr

Parhaodd ei olynyddion, Ieirll Caerwrangon, Ardalyddion Caerwrangon a Dugiaid Beaufort, mewn grym fel perchnogion absennol hyd yr 20fed ganrif. Ar ôl Rhyfel Cartref Lloegr, rhoddwyd Arglwyddiaeth Gŵyr i Oliver Cromwell yn 1647. Erbyn adeg cynnal arolwg ffurfiol o'r asedau ym mis Awst 1650, disgrifiwyd y castell fel "adeilad sy'n adfail o'r enw Castell Abertawe".

Yn y braslun cyntaf o'r castell, a grëwyd gan Francis Place yn 1678, gwelwn fod y tŵr sgwâr yn cael ei ddefnyddio fel gwaith gwydr oedd yn cynhyrchu poteli gwin, a chanfuwyd darnau ohonynt yn ystod gwaith cloddio yma. Yn 1700, adeiladwyd neuadd y dref yng nghwrt y castell. Yn y fan lle byddai'r gwych a'r cefnog wedi mwynhau gwledd ar un cyfnod yn y Neuadd Fawr, roedd trigolion tlotaf Abertawe'n gaeth yn ddiweddarach; yn 1750, daeth y Neuadd Fawr yn dloty'r dref (wyrcws). Roedd marchnad yn llenwi'r cwrt erbyn yr 1770au. Codwyd adeiladau eraill yng nghysgod muriau'r castell ar hyd Lôn y Castell, tra'r adeiladwyd tai cain Sioraidd ar safle'r hen gastell, megis Worcester House gyda'i ffenestri crwm a'i gerddi sy'n edrych dros yr afon.