裏目に出るの「裏目」は、サイコロを振って出た目の裏側の目のこと。
サイコロの面は、表が「1」であれば裏は「6」、表が「2」であれば裏は「5」というように、表裏が奇数と偶数になっており、サイコロ賭博で「丁（偶数）」に掛けて裏面の「半（奇数）」が出ると「裏目が出た」ということになる。
そこから、期待して行ったことが反対の結果になることを「裏目に出る」と言うようになった。
ただし、丁半博打では通常二個のサイコロを用い、丁半が逆転するのは一方のサイコロが裏の時だけで、両方のサイコロが裏を向いた場合は予想通りの結果となる。
このように、「裏目」と言っても必ず正反対の結果になる訳ではないため、「裏目に出る」は丁半博打から直接出た言葉ではなく、サイコロの丁半にたとえたところから生じた言葉と思われる。