イカナゴの「イカ」は「いかが（如何）」「いかなる（如何なる）」などの「いか」、「ナゴ」は「な（魚）」＋「ご（子）」で、「いかなる魚」という意味。
イカナゴの「いか」が「いか（如何）」であるのは、カマスに似ていて区別がつきにくところからと言われる。
しかし、「いか（如何）」は「どのような」「どんな」といった全く不明な際に用いられる語であるため、カマスに似ていることは関係ないと思われる。
イカナゴは夏に砂に潜って夏眠する習性があり、夏にどのような生活をしているか、漁師たちには不明であったところからの「いか（如何）」であろう。
漢字の「玉筋魚」は漢名を拝借したもので、「イカナゴ」の音や意味とは全く関係ない。
「玉筋魚」の「玉」は群れているさまを表し、「筋」は姿が筋のように見えるところに由来するといわれる。