In de bloeiperiode van Brouwershaven bouwde men aan de haven een stadhuis en men voorzag dat in 1599 van een prestigieuze voorgevel.

Het stadhuis is in twee fasen gebouwd. De achterzijde van het gebouw dateert uit de vijftiende eeuw, het voorste gedeelte uit de zestiende eeuw. Vermoedelijk is de achtergevel in de beginperiode de voorzijde geweest. De toren van eertijds is verdwenen. Het feitelijke voormalige stadhuis heeft een totale grootte van 4 are en 90 centiaren. Het is traditioneel gebouwd en met leistenen gedekt. Dit prachtige pand heeft de status van beschermd monument. Ook maakt het onderdeel uit van het beschermd stadsgezicht.

In 1890 - 1891 werd het stadhuis volledig herbouwd, waarbij al het beeldhouwwerk werd vervangen. De gevel werd bekroond met een beeld, voorstellende de Barmhartigheid. Op en naast de rollagen staan zogenaamde vazen, waarvan de originelen zich in het Zeeuws Museum in Middelburg bevinden.