かたいの語源は、金石などが触れ合った時の「カタカタ」という音からといった説もあるが、「形・型（かた）」と同源であろう。
「形・型（かた）」は固まった状態を表しており、それを崩さない状態が「かたい」である。
棒などで硬いものを叩くことを「かつ（搗つ）」と言うので、それが困難なことを形容詞化して「かたし（難し）」、さらに「かたし（固し）」になったとも考えられる。
ただし、困難な意味の「難い（かたい）」も「崩れない」という性質を含んだ言葉で、同源であることに間違いないが、「かつ（搗つ）」は「かたい（かたし）」から生じた語とも考えられるため、断定は難しい。
かたいは「固い」が広く用いられる漢字で、物の性質を表す際は「硬い」、状態や様子を表す際は「堅い」と区別して用いることが多い。