「玉」は、美しいものの総称で、古くは宝石も意味した。
「輿」は、貴人を乗せて人を運ぶ乗り物である。
そこから、貴人の乗る美しい立派な輿を「玉の輿」と言うようになった。
貴人のところへ嫁入りする際には、そのような玉の輿に乗ることから、身分の低い女性が高い身分の人と結婚することを「玉の輿に乗る」と言うようになった。
徳川綱吉の生母 桂昌院は京の八百屋に生まれたが、家光の側室となり豪華な輿に乗って大奥に入ったことから、「玉の輿」は桂昌院の名「お玉」に由来するという説もある。
しかし、名前と出世した経緯から「玉の輿」の代名詞とされているだけで、桂昌院が玉の輿の語源ではない。
この言葉から、現代では、男性が裕福な女性と結婚することを「逆玉の輿に乗る」や「逆玉」などとも言うようになった。