Poney Poney est, au départ, composé d'Antoine Hilaire en one-man-band. Florent Lyonnet et Samuel Nicolas l'ont rejoint en 2005, respectivement à la basse et à la batterie Le nom du groupe est
donné en hommage à un groupe éphémère qui s’appelait Bunny Bunny.
Ils enregistrent plusieurs titres dont AM music et By the Numbers avec l'aide de Xavier de Rosnay, du groupe electro français Justice. À l'origine, leur son est plutôt pop/new-wave, mais ils se
font connaître avec des titres plus électro, comme le remix de Let Me Ride Up pour Don Rimini. Cross The Fader est le fruit d'une collaboration avec Xavier de Rosnay et le soutien du label
anglais Perspex Recordings. Cette collaboration permet une production qui est un réel succès. Le trio fut membre à part entière de la tournée On Air Prods. (Ed Banger Records, Institubes,
Kavinsky, Metronomy, Goose, Scenario Rock, etc.)
En 2009, le groupe décide de prendre un tournant et change pour cela de nom: Poney Poney devient Jamaica.