「馬の骨」の語源は、中国で役に立たないものを指す言葉「一に鶏肋（けいろく）、二に馬骨」に由来しています。「鶏肋」は小さすぎて使い物にならないニワトリの肋骨を指し、「馬骨」は大きすぎて処分にも困る馬の骨を指します。この言葉から、役に立たず誰にも必要とされない者を指す際に「馬の骨」という表現が生まれました。
更に、馬の骨は「大人であるが成長過程や職業がわからない」といった意味も帯び、現代では主にこの意味で使われています。この意味の変化は、漢字の「骨」に「人柄（ひとがら）」の意味が含まれていることに起因していると考えられています。