そばかすは、江戸時代から見られる語で、読みの「そばかす」と漢字の「雀斑」は、それぞれ別のものに由来する。
読みの「そばかす」は、ソバの実を粉にした後の「蕎麦殻（そばがら）」に似た斑点ができることから、「蕎麦の滓（そばのかす）」で「そばかす」と呼ばれるようになった。
漢字の「雀斑」は、そばかすの斑点が、スズメの羽にある斑点に色や形が似ているため、当てられたものである。
そばかすには、スズメの卵にある斑点の模様に似ていることから「雀卵斑（じゃくらんはん）」、直射日光に当たる機会が多い夏に増えることから「夏日斑（かじつはん）」といった呼び方もある。