棒に振るの由来には、魚や青物を入れた天秤棒を担いで売り歩くことをいう「棒手振り（ぼてふり）」からとする説がある。
この説は、棒手振りで全て売り払い、物が無くなる意味から。または、売り払ってもあまり利益が上がらないことからという。
しかし、これらの意味から、それまで積み上げてきたものを無にすることに繋がるか疑問で、「棒に振る」と「棒手振り」いう字面の似た言葉から作られた説に思える。
棒に振るの類語には「棒になる」がある。
この「棒」は、俳諧や狂歌などで作に点をつける時、駄作に引いた線のことで、せっかく作り上げた作品に線を引かれて駄目になることから、「棒になる」と言うようになった。
「振る」には「置き換える」の意味もあるため、「なる」が「振る」に変わっても不自然ではない。
また、「振る」には「失う」の意味もあり、「無にする」が強く表現できるため、「棒に振る」がより多く使われるようになったと考えられる。