下馬評の「下馬」は、馬から下りる意味のほか、城や社寺の門前で馬を下りなければならない場所の「下馬先」も意味する。
主人のお供の者が、下馬先で城内や社寺に入った主人を待ちながら、噂や評判を交わしていたことから、興味本位の噂や評判を「下馬評」と言うようになった。
本来、下馬評には噂や評判の意味しかないが、「馬」の字が付き、「評」と「表」の音が同じであることから、下馬評は競馬の予想表（予想評）を指す語として多く使われるようになった。
そこから、野球やサッカーなどスポーツの予想表の意味でも、下馬評が使われるようになっている。