チンピラは、まだ一人前でもないのに大人ぶったり、大物を気取って偉そうな口をきいたりする者を軽蔑した言葉であった。
大正・昭和初期の隠語辞典類には、チンピラに「子供のスリをさす語」などの記述がある。
チンピラの語源は、子供をあざけって言うときの大阪の方言「ちんぺら」が転じたという説もあるが、「チンピラ」と「ちんぺら」のどちらが先に使われ始めたか不明である。
チンピラの「チン」は劣っている意味の「ちんけ」で、「ピラ」は下っ端を意味する「ひら（平）」か、薄っぺらい意味の「ぺら」のことと思われる。
時代を遡ると、中国の前漢時代に陳平（ちんぺい）という希代の策士がおり、陳平は品行が悪く、兄嫁と不義密通をしていたことから、胡散臭い者を指す言葉として「陳平」が使われ、転じて「チンピラ」になったとする説もある。
しかし、時代に開きがあり過ぎ、意味にも少し開きがある。また、日本で胡散臭い者を「陳平」と呼んだ例が見られず、後世に作られた俗説と考えられる。