カツラは落葉した葉が甘い香りを放つことから、「カヅ（香出）ラ」「カ（香）ツブラ（円）」「カ（香）ツラヌク（貫）」「カ（香）ツラナル（連）」「カ（香）ツタハリ（伝）」など、「香り」に由来する説が多く、他は「カゲ（影）ツラナル（連）」だけである。
これらの中では、「カヅ（香出）ラ」の説が有力と考えられている。
ただし、古くから「桂」は、「カツラ」「モクセイ」「ゲッケイジュ」などの香木の総称として使われており、これらとの混同も見られる。
そのため、「カツラ」は元々香木を表す呼称で、そこからカツラ科の木を表すようになった名と思われる。