Par opposition à la seigneurie "propriétaire" de Bailleul, celle dite du Château était appelée seigneurie "gagère".

S'y succédèrent les familles d'Oisy-Avesnes, de Châtillon-Saint Pol, de Bourbon de la Marche, de Lalaing, sous laquelle les deux seigneuries furent réunies, et finalement de Croÿ-Solre.
C'est ici qu'il convient de chercher l'origine de la fameuse branche des Bourbon-Condé : Louis Ier de Condé (1530 - 1569) fonda cette maison princière, branche de la maison capétienne de Bourbon-Ventôme, à partir de l'héritage de sa mère Marie de Luxembourg-Saint-Pol. Précisons que le titre de prince été attaché à la dynastie et non à la seigneurie, et que la terre de Condé n'a jamais été principauté.

Ce château a été construit en 1147 puis rasé en 1174 par ordre de Baudouin le Courageux, comte de Hainaut, en représailles contre Jacques d'Avesnes. Le même comte de Hainaut l'aurait fait rebâtir en 1184.

Il comprenait autrefois huit tours, sans compter le châtelet d'entrée, et un donjon carré appelé "tour de César", ce qui, pour les naïfs historiens de naguère, attestait une origine romaine. Trois de ces tours et le donjon furent rasés en 1727, pour faire place à un hôpital militaire. Après la conquête française, en 1676, le prince de Croÿ avait en effet vendu le château au roi, qui avait fait un arsenal. Le bâtiment a conservé ce nom, même s'il a surtout servi de caserne.

Le châtelet d'entrée a gardé, côté rue, l'aspect d'origine, mais, côté cour, il a été profondément remanié dès la fin du XVIIe siècle et distribué en logement d'officier. La tour la plus intéressante est celle dite du Bonnet de Dragon, à l'angle nord-est. Elle présente une forme originale à rétreint, d'où son nom. Ses fenêtres grillées témoignent de son ancienne destination de geôle. La tour est, ancienne poudrière, pose une énigme : pourquoi est-elle construite en petit appareil côté cour et en appareil moyen de l'autre côté ? Faut-il y voir une trace de la reconstruction de 1184 ?

Jusqu'au XVIIe siècle, les bateaux pouvaient accéder dans la cour du château par un canal relié à l'Escaut qui y pénétrait jusqu'au pied du donjon en passant sous une arche dont on peut voir la partie supérieur dans la courtine sud (au niveau du sol à côté de la salle basse d'une tour coupée verticalement).

La cour de l'Arsenal renferme un puits dont l'eau passe pour guérir les maladies d'yeux : il s'agit du puits de Sainte-Renelde, une sainte d'importation. De la même époque mérovingienne que saint Wasnon, Renelde est née à Kontich (Condacum) et non à Condé (Condatum) : mais la piété populaire n'est pas à une lettre près et fait fi des kilomètres !