荒唐無稽は、中国古典の「荒唐之言」と「無稽之言」に由来し、「荒唐之言」は『荘子』、「無稽之言」は『書経』に見られる。
ただし、「荒唐」と「無稽」が一緒に使われた例は見られないことから、「荒唐無稽」は日本で作られた四字熟語と思われる。
四字熟語の形では、坪内逍遙の『小説神髄』（1885〜1886年）に、「羅マンスは趣向を荒唐無稽の事物にとりて奇怪百出もて編をなし」とあるのが古い。
荒唐無稽の「荒」は何もなく虚しい意味、「唐」は「口＋庚（ぴんと張る）」で、口を張って大言することを表すことから、「荒唐」は中身がなく、でたらめなことを意味する。
「稽」は考えるの意味で、それが「無」であることから、「無稽」は根拠がなく、でたらめであることを意味する。
「荒唐」とは、言うことに根拠がなく、とりとめのないこと。
「無稽」とは、考え方に根拠がなくでたらめなことをいう。
「荒唐之言」と「無稽の言」が一緒になり、できた言葉。
『荘子』には「荘周その風を聞きてこれを悦び、謬悠の説、荒唐の言、端崖の無きの辞を以てす（荘子はその説を学んで共鳴し、実情を伴わない広遠な説、判断できない根拠のない説、糸口がとらえられない言葉を使って述べた）」とある。
また、『書経』には「無稽の言は聴くこと勿れ（根拠のない話には耳を傾けるべきではない）」とある。