賽の河原は、仏教の地蔵信仰と民間信仰の道祖神「塞の神（さえのかみ）」が習合したというのが通説である。
また、地蔵や小石塔が建てられ、庶民の葬送が行われた山城国佐比河原（京都の鴨川と桂川の合流地点）に由来するともいわれる。
賽の河原には、親に先立って死んだ小児が石を拾って、父母供養のために塔を作ろうとするが、石を積み上げると鬼が来て塔を壊してしまい、これを地蔵菩薩が救うという話がある。
しかし、この話は仏典に典拠がなく、民間信仰による俗信である。
この俗信から、「賽の河原」は無駄な努力のたとえに用いられるようになった。