飛鳥期に「各牟群」で見え、『和名抄』には「各務群各務郷」とある。
各務（各牟）は「鏡」のことで、上古に鏡（銅鏡）を製作した工人集団の「鏡作部（かがみつくりべ）」に由来するというのが定説となっている。
その他、この地に渡来した「各牟」という豪族の名前に由来する説や、「カカ（崩壊地形）・ミ（接尾語）」で地形に由来する説がある。
各務の南部一帯は「各務野（かがみの）」と呼ばれ、大正期に「野」が「原」に変わり、「ケ（が）」加えられて「各務ケ原」と表記されるようにもなった。
「各務」の読みが北部では「かかみ」、南部では「かがみ」と異なり、「ケ」の有無など表記もバラバラであったが、市発足時には「各務原（かかみがはら）」が採用され、正式な表記と発音が決まった。
しかし、以前から馴染みのある表記や読み方を変えない人が多くいたため、現代でも「各務ケ原（各務ヶ原）」と表記されたり、「かがみがはら」「かかみはら」「かがみはら」と読むなど、各務原市民の間でも統一されていない。
統一されていないのは公共機関にも及び、JR東海高山本線の駅名は「各務ケ原駅（かがみがはらえき）」、岐阜県立各務原高等学校は「かかみはら」の呼称を採用している。