明治30年（1897年）、郡制の施行によって羽栗郡と中島郡が合併した際、それぞれの一文字を使い「羽島郡」となった。
昭和29年（1954年）、郡南部の竹ヶ鼻町・足近村・小熊村・正木村・福寿村・江吉良村・堀津村・上中島村・下中島村・桑原村が合併して「羽島市」が発足した。
羽島の元となる羽栗郡は尾張国葉栗郡の一部、中島郡は尾張国中島郡の一部であった。
これらの郡は大洪水で分断されたため、木曽川を境に美濃側の地域は美濃国に編入された。
その際、尾張国と美濃国で区別するため、葉栗郡は「葉」の字が「羽」に変更され、「羽栗郡」となった。
中島郡は変更されることなく、尾張も美濃も同じ字を使用している。
葉栗の由来は、川に浸食されやすい所なので、「ハ（端）・クリ（崩壊地形）」や「ハグ（剥ぐ）・リ（接尾語）」などの説がある。
中島の由来は、川に囲まれた島状の地の意味からと思われる。