不倫の「倫」は、漢語では「仲間」「類い（たぐい）」の意味をもつ。
同列に並んだ仲間ということから、「倫」は人間同士のきちんと整理された関係を表し、「秩序」「道徳」という意味に派生した。
「倫（道徳）に反する」という意味の「不倫」は日本で作られた言葉で、明治時代から見られる。
戦前から、「道徳的に許されない恋愛」の意味でも使われ始めたが、その後は一時、死語となっていた。
再び、「不倫」の語が使われ始めるようになったのは、1983年頃。
愛人契約の仲介をする「愛人バンク」の『夕ぐれ族』や、TBSのテレビドラマ『金曜日の妻たちへ』などの影響によるもので、それ以降は、男女関係に限定した使い方がされている。