よこしまは、「よこ（横）」に接尾語の「し」と「ま」が付いた語。
接尾語の「し」は、方向を示す接尾語「さ」と同じもの。横の方向を意味する「横さ」「横し」という語もあり、よこしまは「横さま」ともいう。
よこしま同様の構成の語には、「逆さま」「逆しま」「逆さ」がある。
よこしまは、本来、横の方向であることや、そのさまを意味し、そこから、心の向きが正しくない（横を向いている）ことを意味するようになった。
よこしまは「横しま」からだが、その反対で道理をわきまえていることを「たてしま（縦しま）」とは言わない。
漢字の「邪」は、元々「琅邪」という中国の古地名を表した字だが、「牙」に「食い違い」の意味があることから、よこしまに「邪」の字が当てられた。
「邪」の「牙」は、二本の柱に切りこみを入れ、噛み合わせて繋いださまを描いた象形文字で、ちぐはぐに噛み合う歯を表す。