あっけらかんの「あけ」は、口をぽかんと開けた状態のことで、中世には「開く」の連用形を撥音化した「あんけ」という副詞があった。
「あんけ」に状態を表す接尾語「ら」が付いた「あんけら」が生まれ、更に接尾語「かん」が付いて「あんけらかん」となり、「人の女房と枯れ木の枝は、あんけらこんけら、登りゃ登るほどあんけらこんけら」と歌いながら飴を売る「あんけらこんけら糖売り」という商売も出てきた。
近世頃より、撥音化されない「あけらかん」が見えはじめ、促音化されて「あっけらかん」となった。
「あっけらかん」のほか、「あけらこん」や「あっけらこん」など、「こん」が使われていた例も見られる。
本来、あっけらかんは口を開けてぼんやりしていたり、意外なことに開いた口が塞がらないさまを意味する言葉であったが、いつしか意外なことをして呆れさせる側にも使われるようになった。
また、「呆気に取られる（あっけにとられる）」の「あっけ」も、あっけらかんの「あっけ」と同じで、「取られる」は悪霊に精神を奪われたような意味からと考えられる。
ただし、「あっけにとられる」や「あっけない」などの「あっけ」は漢字で「呆気」と書くが、あっけらかんを「呆気らかん」と漢字表記することはなく、全てひらがな表記である。