Жозуэ Казимир родился в семье гаитян в Бе-Мао, коммуне Гваделупы. Гваделупа — заморское владение Франции в Карибском море.

Его старший брат Стивенсон также стал профессиональным футболистом и играл в защите сборной Гваделупы.

Карьера Казимира развивалась на родном острове. В 15 лет его заметил скаут французского «Гавра» и пригласил на просмотр. Жозуэ закрепился во Франции, пройдя путь от академии до основной команды.