Dans cette bâtisse de grès aux quatre tourelles coiffées de poivrières, les lecteurs de Charles Deulin reconnaîtront la maison "où demeure Nanasse Moucheron, le dentiste". La réalité est moins prosaïque. Il s'agit du châtelet d'entrée du château construit avant 1411, année où Jean de la Hamaide y fit apposer ses armoiries sur la façade. Mais qu'on ne les y cherche pas ! Elles furent martelés dès 1469 à la suite de la décapitation infamante d'Arnould, bâtard de La Hamaide.

Ce château était le siège de la seigneurie dite de Bailleul ou propriétaire, qui appartient aux familles de Condé-Bailleul-Moriamez avant le XVe siècle, de La Hamaide jusqu'en 1485, d'Oettingen, de Roggendorf, puis de Lalaing jusqu'en 1606 et enfin de Croÿ-Solre jusqu'à la Révolution.

Il comprenait deux ailes, qui, à l'évidence rajoutées plus tard, ont été transformées en habitations particulières au XIXe siècle. En 1544, Guillaume de Roggendorf avait fait tracer des jardins à la française qui s'étendaient jusqu'aux remparts ; une orangerie avait même été installée et la magnificence du parc contrastait régulièrement avec l'austérité du château.

Sous son aspect actuel, l'hôtel de Bailleul a subi, par rapport à son état originel , un certain nombre de transformations. Le toit a été refait à la Mansard, et les fenêtres à meneaux contrastent de façon anachronique avec les archères-canonnières des tourelles. La présence des armes de Jeanne de Lalaing à l'arrière du bâtiment laisse supposer que ces modifications sont intervenues au début du XVIIe siècle.
Seuls les étages méritent la visite. On y accède par deux escaliers : le premier à vis, aménagé en hors d'oeuvre dans la tourelle ouest, mène jusqu'aux combles ; le second, monumentale, a été construit en 1691 pour la venue de Louis XIV. Dans la vaste salle du second, on peut admirer la grande cheminée avec sa taque en fonte aux armes d'Emmanuel de Croÿ. On sourira du mâchicoulis de la tourelle nord, qui n'est qu'une latrine s'évacuant directement sur la rue. Du grenier, on jouit d'un remarquable panorama de Condé et des environs.