阿呆の語源は、秦の始皇帝が異常に大きな宮殿「阿房宮」を建てたことからとする説が多い。
この説にも二通りの話があり、ひとつは「阿房宮」は項羽に焼かれたが、あきれたほど馬鹿でかく、全焼するまでに3ヵ月もかかったことから、馬鹿げたことを「阿房」というようになり「あほう（あほ）」と呼ぶようになったとする説。
もうひとつは、大きな宮殿を建てたが財政が困難になり、国が滅びてしまったことからとする説がある。
しかし、あほうの漢字「阿房」は、この語源説によって当てられた当て字と考えられている。
その他、あほう（あほ）の語源には、「おこがましい」の語源となる「をこ」が変化した説がある。
「馬鹿」の語源にも「をこ」の音変化とする説があり、共通はしているが、共に苦しい音変化である。
あほの有力な説として、中国江南地方で「おばかさん」を意味する方言「阿呆（アータイ）」を禅僧が伝え、日本語読みで「あはう」となり、「あほう」になったとする説がある。
ただし、この説も文献上に出てくるものではなく、この方言によって「阿呆」の漢字が当てられたとも考えられ、あほうの正確な語源は未詳である。
あほうの「う」を省略して「あほ」と言うようになったのは、近世以降のことである。