パフェは、「完全な」を意味するフランス語「パルフェ（parfait）」に由来し、「完璧なデザート」の意味で名付けられた。
日本で「パフェ」と呼ぶのは、英語の発音による。
稀に「パフェ」は「パーフェクト（perfect）」を語源とする説も見られる。
しかし、「parfait」と「perfect」は共にラテン語の「perfectus」に由来する同源の語で、フランス語「parfait」の意味として「パーフェクト」と訳すことは問題ないが、「perfect」から「parfait」になったわけではないため、パフェの語源を「パーフェクト」とするのは誤りである。
「パフェの日」が6月28日に定められたのは、野球のパーフェクトゲーム（完全試合）に由来する。
1950年6月28日、巨人の藤本英雄投手が日本プロ野球史上初のパーフェクトゲームを達成したことにちなみ、「parfait」のフランス語の意味とかけて、6月28日が「パフェの日」と定められた。