芝海老は、武蔵野国芝浦（現在の東京都港区）あたりで獲れるエビの意味である。
江戸時代の芝浦では活きのいい魚が多く獲れていた。また、芝浦で獲れる魚は「芝魚（しばざかな）」「芝物（しばもの）」と呼ばれていたことなどを考慮すると、芝浦のエビの意味で「芝海老」になったとする説が妥当である。
芝海老の語源には、「白蝦（しらえび）」が音変化し、「しばえび」になったとする説もある。
しかし、命名されるほど特徴的で、白さが際立っているとは言えない。
瀬戸内海各地では、芝海老が「備前海老（びぜんえび）」と呼ばれていた。