無茶苦茶の語源には、「無茶」が来客にお茶を出さないこと、「苦茶」が苦いお茶を出すことで、共に常識はずれなことからといった説がある。
この説は漢字を元に考えられた説だが、「無茶苦茶」はただの当て字なので、漢字に語源を求めること自体間違いである。
無茶苦茶の「無茶」は、仏教語で「無為」を表す「無作（むさ）」からか、「無作」から生じ、中世から近世にかけて「無造作」の意味で用いられた副詞「むさと」の「むさ」が転じたものと考えられている。
また、「むさい」「むさぼる」などの「むさ」などと同根で、むさぼる心が強いことや、汚らしいことからとも考えられる。
無茶苦茶の「苦茶」は、語調を整えつつ「無茶」を強めるための語である。
同様に「むさ」から生じ、語調を合わせた言葉には「むさくさ」や「むしゃくしゃ」がある。