有象無象は、仏教用語の「有相無相（うそうむそう）」に由来する。
有相無相とは、現象と真理、姿や形を持つものと持たないもの全てを意味する言葉で、「相」は姿や形を意味する。
「有相無相」から「有象無象」に転じた理由は、「相」が一般に理解しがたい言葉で、「像」の方が「形」を表す語として分かりやすいため「像」になった。
「像」に変わったことで、「ぞう」と発音するようになり、「象」が当てられたとされる。
あらゆる全てのものの意味から、多く集まったつまらない連中を意味するようになったのは、「有象無象」に転じた以降のこと。
「うぞうむぞう」が「うじゃうじゃ」や「うじょうじょ」などの語感と似るようになったことと、元の意味からの派生と考えられる。
「有象無象」に転じる以前は、「有像無像」と表記した例も見られるが、現代では誤りとされる。