「四の五の」の語源に関する説は複数存在しますが、江戸末期の国語辞典『俚言集覧』によれば、サイコロ賭博で丁（四）が出るか半（五）が出るか迷うところから派生したとされています。別の説では、「一も二もなく」という表現が即座にとやかく言うまでもなくの意味であるのに対し、「四」や「五」まで不平を言う様子からきたとされています。儒教の経書の中で特に重要視される「四書五経」に由来し、「四書だの五経だのと理屈ばかりこねずに」という意味からきたとする説もありますが、特定は難しいとされています。
「四の五の」という表現は江戸中期頃から登場し、「あれこれ」を指す言葉として広まりました。この表現は不平を言う意味の「四の五の言う」の他に、「あれこれ言う余地がないほど素晴らしい」を意味する「四の五もなし」や、「あれこれ言う必要がない」を表す「四も五もいらず」などの変種が存在します。また、「四の五の」をもじった表現には、「酢の蒟蒻の（酢だの蒟蒻だの）」という言い回しもあります。