Mélangez ensemble la farine, le sucre blanc et le sel dans un grand bol; incorporez le beurre avec un coupe-pâte jusqu'à ce que le mélange ressemble à des miettes grossières.

Mélangez l'extrait de rhum, l'extrait d'amande et l'eau dans un petit bol. Incorporez progressivement au mélange de farine, un peu à la fois, jusqu'à ce que le mélange forme une boule lorsque vous le pressez.

Placez la pâte sur une surface farinée et saupoudrez de farine; étalez-la en une feuille de 1/4 de pouce d'épaisseur. Découpez des formes avec des emporte-pièces farinés, puis placez-les à 1 pouce d'intervalle sur des plaques de cuisson non graissées. Couvrez d'une couche de film plastique et réfrigérez pendant 30 minutes.

Préchauffez le four à 325°F (165°C).

Faites cuire les biscuits dans le four préchauffé jusqu'à ce que les bords soient légèrement dorés, de 15 à 18 minutes. Laissez refroidir sur les plaques pendant 2 minutes avant de les transférer sur des grilles pour terminer de refroidir. Laissez complètement refroidir avant de décorer.

Pour faire le glaçage: Fouettez ensemble le sucre glace, 2 cuillères à soupe de lait et 2 cuillères à café de lait dans un bol jusqu'à obtenir une consistance lisse. Si vous le souhaitez, divisez le glaçage en petites portions et colorez chaque portion à la teinte désirée avec du colorant alimentaire.