せこいは「せこ＋い」ではなく「せ＋こい」で、「窮屈である」「狭い」を意味する「せし（狭し）」の肥大型形容詞と考えられる。
「こい」は「狭い」を「狭っこい」などと言うのと同じである。
古くは、役者や寄席芸人の間で「悪い」「下手である」、盗人仲間の隠語で「困難である」「苦しい」の意味でも、「せこい」は使われていた。
また、方言では「息苦しい」「つらい」「許しがたい」「忙しい」「間隔が狭い」など、さまざまな意味で使われているが、いずれも「度量が小さい」「余裕がない」など「狭い」の意味に通じる。
せこいの語源には、世間の風俗や習慣を意味する「世故（せこ）」に由来を求める説もある。
この説は「世故」の意味から、世渡りの上手な人を「世故い（せこい）」と呼ぶようになり、金銭に細かいという意味にも広がったというものだが、せこいの「せこ」は何かと考えた際に「世故」の語があったことから、意味に合わせて作られた俗説である。