紅一点は、中国の王安石の詩『詠柘榴』の「万緑叢中紅一点（ばんりょくそうちゅうこういってん）」の句に由来する。
この句は、万緑が一面の緑、叢中は草むらの中、紅一点は紅色の一輪の花（ザクロ）の意味で、一面の緑の中に咲く一輪の紅色の花が、紅一点の本来の意味である。
日本では明治以降、沢山ある中で一つだけ異彩を放つものの意味として、紅一点が用いられた。
その後、「紅」という色や艶やかに咲く花の印象から連想され、紅一点は男性の中に混じる唯一の女性の意味で用いられるようになった。
さらにその意味から派生し、多くの女性の中に混じる唯一の男性の意味で「黒一点」や「緑一点」という俗語も生まれた。