Bywyd ar ôl oes Arglwyddi Gŵyr
Roedd pethau'n llawer tawelach ar ôl i Arglwyddi'r Mers a Thywysogion Deheubarth roi'r gorau i ymladd, er i borthdyllau gwn gael eu hychwanegu i'r tŵr oddeutu cyfnod Rhyfeloedd y Rhosynnau (1455-87), pan oedd Penrhyn Gŵyr ym meddiant yr Arglwydd Herbert o Raglan.
Yn y braslun cyntaf o'r castell, a grëwyd gan Francis Place yn 1678, gwelwn fod y tŵr sgwâr yn cael ei ddefnyddio fel gwaith gwydr oedd yn cynhyrchu poteli gwin, a chanfuwyd darnau ohonynt yn ystod gwaith cloddio yma. Yn 1700, adeiladwyd neuadd y dref yng nghwrt y castell. Yn y fan lle byddai'r gwych a'r cefnog wedi mwynhau gwledd ar un cyfnod yn y Neuadd Fawr, roedd trigolion tlotaf Abertawe'n gaeth yn ddiweddarach; yn 1750, daeth y Neuadd Fawr yn dloty'r dref (wyrcws). Roedd marchnad yn llenwi'r cwrt erbyn yr 1770au. Codwyd adeiladau eraill yng nghysgod muriau'r castell ar hyd Lôn y Castell, tra'r adeiladwyd tai cain Sioraidd ar safle'r hen gastell, megis Worcester House gyda'i ffenestri crwm a'i gerddi sy'n edrych dros yr afon.