Paha Polly alustas tegevust 2005. aastal garaažibändina. Rütmikitarrist oli tol ajal Harry Ruotsi, kes oli ka üks asutajaliige. 2008. aastal hakkas Ruotsi asemel rütmikitarri mängima Kaur Pai.
Tuntuim lugu on „Naerame” – 2007/2008. aasta talvel Statoili reklaami taustal mänginud võilillelaul, mis muuhulgas võitis 2007. aasta „Tudengibändil” ka parima eestikeelse loo auhinna.
