小倉あんの「小倉」は、小倉百人一首ゆかりの地でもある、京都市右京区嵯峨の「小倉山」に由来するといわれる。
小倉あんの発祥は、809年に空海が中国から持ち帰った小豆の種を、小倉の里で亀の甲せんべいを作る和三郎が栽培し、御所から下賜された砂糖を加えて煮詰めたものであったという。
そのため、小倉山の二尊院には「小倉餡発祥之地」と記された石碑があり、その近くの落柿舎前にも「小倉餡発祥の由来」が掲げられている。
その他、歌枕として知られる奈良県の「小倉山」に由来し、鹿が多いことで知られるため、小豆の粒を鹿の背にある模様に見立てて「小倉あん」と名付けられたという説もある。