「ろくでなし」は、漢字で「碌でなし」と表記されますが、これは当て字で、本来は「陸でなし」と書かれます。言葉の語源には「陸（ろく）」が関連しており、これは土地が平らなことから来る言葉で、まっすぐで平らな性格や物事を指します。現代でも、「陸屋根（ろくやね）」や「陸墨（ろくずみ）」のように、「陸」が平らなことを表す言葉として使用されています。
「陸でなし」は、「陸」を否定する形で、「まっすぐでない」「曲がった」といった意味合いを持ちます。この表現は性格が曲がっている人を指すもので、後には役に立たない人や信用できない人を指すようになりました。そのため、「ろくでなし」は不誠実であるか、期待に応えられない人物を指す軽蔑的な表現として用いられます。
一部には、「ろくでなし」の語源に数字の「六」を関連付ける俗説も存在しますが、これは信頼性が低く、一般的な説とはされていません。