本来、後ろめたいは「不安だ」「気がかりだ」という意味で用いられた言葉で、そこから「油断がならない」「気が許せない」という意味に転じた。
さらに、他人から「油断ならない相手」と思われるのではないかというところから、自身のやましさをいうようになった語である。
後ろめたいの語源は諸説あり、「うしろめいたし（後ろ目痛し）」もしくは「うしろべいたし（後ろ辺痛し）」で、後ろから見て心が痛むの意味からとする説。
「後ろ目痛し」もしくは「後ろ辺痛し」を語源とし、のちのことを考える（将来を見る）と心が痛むという意味から、「不安」を表すようになったとする説。
「後ろ辺痛し」を語源とし、後方が気になる意味で「不安」を表すようになったとする説。
「うしろめいたし（後ろ目甚し）」を語源とし、「甚し」は「甚だしい」の意味で、後ろを見たくて仕方ないことから、「不安」を表すようになったとする説がある。
このうち定説となっているのは「後ろ目痛し」の説だが、古く「ウシロベタシ」の形が見られるため、「後ろ辺痛し」とも考えられる。
ただし、「冷たい」を「つべたい」や「ちべたい」と言う地方もあることから、「うしろべいたし」の「べ」が「辺」ではなく、「目」を表しているとも考えられる。
後ろめたいの語源は「後ろ目痛し」か「後ろ辺痛し」のいずれかと思われるが、それ以外の部分は特定が難しい。