カスタネットは、「栗の実」を意味するスペイン語「castana（カスターニャ）」に由来する。
カスタネットが「栗の実」に由来するのは、形が栗の実に似ているからとする説と、古くは、南欧の大きな栗の木で作られていたことからとする説がある。
スペイン語で「カスタネット」を表す「castaneta」の「eta（ita）」は縮小辞なので、「小さな栗の実」の意味になる。
そのため、栗の実に形が似ているというよりも、カスタネットは大きな栗の木で作られていたことに由来し、その木になる「小さな栗の実」からの命名とするのが良いであろう。