鉛筆の語源は単純なようだが、正確なことは分かっていない。
現在の鉛筆は、芯に炭素の同素体である黒鉛が用いられているが、1565年に英国で考案される以前は、芯が鉛の棒であったことから「lead pencil（鉛の筆）」と呼ばれており、この「lead pencil」を訳して、「鉛筆」になったとする説がある。
また、日本にはオランダ人が江戸初期に伝え、黒鉛を芯に使ったものであったからとする説もある。
530年頃成立した中国の詩文集『文選』にも「鉛筆」の語は見られるが、これは鉛を焼いた粉を墨のように用いた毛筆であるため、関係ないと見て良いだろう。
鉛筆が商品として広まったのは、明治に入ってからである。
明治18年（1885年）、輸入品の鉛筆が一部の学校で使われはじめた。
明治20年（1887年）、眞崎仁六が『眞崎鉛筆製造所（現在の三菱鉛筆）』を設立し、日本で初めて鉛筆の量産を行った。
明治34年（1901年）、逓信省（現在の日本郵政公社）が眞崎鉛筆製造所の鉛筆を採用し、国産として初めて全国に供給された。
その後、小学校でも毛筆から鉛筆へ切り替えられるようになり、一般にも普及した。