カステラの起源は、室町末期にポルトガル人によって長崎に伝えられたものです。初期の日本では「かすていら」と呼ばれ、漢字表記には「加須底羅」や「家主貞良」などが使用されました。
カステラの語源はポルトガル語の「pao de Castelra（パオ・デ・カスティーリャ）」であり、これはスペインのカスティーリャ地方のパンを指します。カスティーリャ地方は、イベリア半島の中央部に位置し、標高600～700ｍの高原地帯です。「カスティーリャ」の地名は、ラテン語で城を意味する「castellum」の複数形「castella」に由来し、城塞の多い地方を指します。