カステラの原型となる食べ物は、室町末期にポルトガル人によって長崎に伝えられた。
日本に伝わった頃は、カステラに「加須底羅」や「家主貞良」などの漢字が使われ、「かすていら」と呼ばれていた。
カステラの語源は、ポルトガル語「pao de Castelra（パオ・デ・カスティーリャ）」である。
「パオ・デ・カスティーリャ」とは、スペインのカスティーリャ地方のパンの意味で、カスティーリャ地方とは、イベリア半島の中央部に位置する標高600～700ｍの高原地帯。
カスティーリャの地名は、ラテン語で城を意味する「castellum」の複数形「castella」が由来で、城塞の多い地方という意味である。