杜撰の語源は、中国の『野客叢書』の説が有力とされる。
その説は、杜撰の「杜」は、中国宋の詩人 杜黙（ともく）を表し、「撰」は詩文を作ること。
杜黙の作った詩は、律（詩の様式）に合わないものが多かったという故事に由来するというものである。
この故事から、著述に誤りの多いことを「杜撰」と言うようになり、物事がいい加減で、誤りが多いことの意味でも使われるようになったといわれる。
その他、杜撰の語源には、杜撰の「杜」が本物でない仮の意味の俗語とする説や、杜黙以外の人名を表す説もある。
日本には禅を通じて「杜撰」の語が入ったとされ、古くは「ずざん（づざん）」と「さ」が濁音で発音されていた。