Bij Westkerke ligt de zogenaamde Westkerkse berg. Van de ongeveer 12 bergjes die er op Tholen waren, is alleen deze overgebleven. De ruim 7 m hoge berg is in drie fasen opgeworpen. De
onderste laag, die tot 1 m N.A.P. reikt, zal hebben gediend als vluchtheuvel voor hoogwater op de nog onbedijkte schorren. De tweede verhoging houdt verband met een functie als kasteelberg. De in deze verhoging gevonden houtskoolresten zijn van ca. 1025.
Op het bergje zal toen een eenvoudige houten versterking (motte) hebben gestaan zoals ook op het tapijt van Bayeux van 1066 is te zien. Op de derde verhoging zijn resten baksteen gevonden die afkomstig kunnen zijn van een stenen toren. Zowel de terp/kasteelberg als het voorterrein met het Hooge huys aan de kant van het dorp waren omgracht.