泣いて馬謖を斬るの出典は、『三国志』「蜀志－馬謖伝」の故事による。
馬謖は中国の三国時代の蜀（しょく）の武将で、諸葛亮（しょかつりょう）の信任をうけて参軍した人物である。
馬謖は街亭の戦いで命令に背き、戦略を誤って魏軍に惨敗した。
諸葛亮にとって馬謖は愛弟子であるが、軍律の遵守を最優先させるため、命令に背いた馬謖を斬罪に処し涙した。
この故事から、規律を保つためには私情を挟まず、違反者を処分するたとえとして「泣いて馬謖を斬る」と言うようになった。
なお、『三国志演義』では、諸葛亮の泣いた理由が馬謖を軍律のために斬ったことではなく、前主君の劉備（りゅうび）に「馬謖を重用すべきではない」と言われていたにも関わらず、守らなかった自分に対する嘆きとなっているが、「泣いて馬謖を斬る」というたとえは『三国志』に由来するので、語源としては事実がどちらであろうと関係なく、事実によって意味が変わるものでもない。
三国時代、蜀の諸葛孔明が魏と戦ったとき、親友の弟で腹心の部下だった馬謖が命令に背き、布陣したため大敗を喫した。
孔明は軍法に従い、涙を流して馬謖を斬罪にしたという『三国志・蜀志・馬謖伝』にある故事に由来する。