貧乏ゆすりは、貧乏人は着るものがなく、寒さで震える様子に似ていることに由来すると考えられる。
その他、足を揺らすと貧乏神に取り憑かれるといわれていたことから。
貧乏人が高利貸しに取り立てられる際、足を揺らすことが多かったことからという説もある。
貧乏ゆすりは、江戸時代中頃から見られる語で、江戸前期には「貧乏ゆるき（貧乏揺るぎ）」と言われていた。
いずれの語も、寒さで震えることや、暖をとることなどに関連づけた使用例が見られる。
一方、話として面白くなるはずの「貧乏神」や「高利貸し」に絡めた例は見られないため、貧乏人が寒さで震えるさまにたとえ、「貧乏ゆすり」と言うようになった説が有力である。