墓の語源は諸説あるが、「果処（はてか）」の意味とする説や、「葬処（はふりか）」の略あたりが有力とされる。
他に有力な説としては、生死の間は遥かであることから「遥か（はるか）」とする説や、「儚し（はかなし）」といった説もある。
漢字「墓」の「莫（バク）」の部分は、太陽が草の中に沈んで隠れることを示す会意文字で、「墓」の漢字には死者を見えなくする土盛りの意味がある。
日本では、646年の「薄葬令」で墓制を定めて、墳墓の規模が規制された。
墓標を立てる風習は、平安時代に造寺・造塔が盛んとなって、塔を立てる風習が生じたことによる。
角石形の墓標が普及したのは江戸中期以降で、寺院内に墓が造られることが一般化したのは江戸時代以降である。