La légende rapporte qu'un seigneur avait une femme jeune et belle, fière et ambitieuse, mais sans castel digne de l'abriter. Il vit un jour venir à lui un personnage qui le fit rougir de sa bicoque et lui proposa, en échange de son âme, de bâtir un magnifique château où sa femme aurait enfin une demeure digne d'elle. Le seigneur reconnut le diable et conclut le marché. Selon son habitude, messire satanas devait construire l'édifice en une nuit, avant le premier chant du coq. Il se mit au travail avec son équipe de lutins et de diablotins. Le château était terminé : seule la dernière pierre allait être posée, quand un coq chanta au fond de la vallée. Le diable était pris. Dans sa colère, il jeta sa toque contre les murailles, et tout s'écroula. Ces débris forment, aujourd'hui, le Château de la Tour.
D'après une autre version, le diable dominait aux temps jadis sur toute la basse Semoy. Il y avait des forteresses sur le Liry, le Fay, le Roc de la Tour, et terrorisait le pays : ce diable désigne sans doute quelque méchant sire d'Haulmé. Un jour, vint un pèlerin qui lui demanda le gite et la nourriture : "Audacieux !" lui crie le diable, "que viens-tu faire sur mes terres ? Ignores tu qui je suis ?". "Ta colère est vaine" répondit le pèlerin, "je ne te crains pas ! et pour te prouver ma supériorité, faisons un pari. Tu vas dresser des quilles sur cette montagne (le Roc la Tour) et nous verrons qui sera vainqueur de la partie...".
Le diable consentit, de mauvaise grâce : les quilles furent placées sur le Roc la Tour, et les deux joueurs se postèrent sur le Fay juste en fac. Belzébuth saisit sa boule, une énorme boule de quartz, ajusta et lança. Mais la boule alla piteusement rouler dans la Semoy. C'est aujourd'hui la "Roche des Diables", appelée aussi le Roche du Tombeau. Le pèlerin abattit, lui, d'une main sûre toutes les quilles et mit en miettes le Château du Diable édifié sur le Roc la Tour. Satanas reconnut Jésus-Christ et détala prestement, en laissant une odeur de soufre...
