胡散臭いは、怪しいさまを意味する「胡散」に、「らしい」を意味する接尾語の「臭い」をつけて形容詞化された語で、近世以降に見られる言葉である。
胡散の語源には、「疑わしい」を意味する漢語「胡乱（うろん）」からとする説。
茶碗の一種で、黒の釉（うわぐすり）をかけた天目茶碗の「烏盞（うさん）」が転じて、「胡散」になったとする説があり、このいずれかと考えられる。
その他、ポルトガル語で「怪しい人」を意味する「Vsanna（ウサンナ）」からとする説もあるが、「胡散」の語が使われ始めた時代と合わない。
また、香辛料の名前や薬の名前という説もあるが、そのような名前の香辛料や薬が実在した文献が見当たらない。
胡散の「胡」を「う」と読むのは唐音、「散」を「さん」と読むのは漢音のため、「胡散」は和製漢語と思われる。