物見遊山の「物見」は、文字通り、物を見ることで、見物することを表す。
「遊山」は、気晴らしに遊びに出かけることや、山野で遊ぶことを意味するが、本来は禅宗の言葉で仏教語であった。
遊山の「遊」は自由に歩きまわること、「山」は寺のことで、修行を終えた後、他山（他の寺）へ修業遍歴の旅をすることをいった。
転じて、山野の美しい景色を楽しみ、曇りのない心境になることを意味するようになり、それが一般にも広まって、気晴らしに遊びに出かけたり山野で遊ぶ意味となった。
稀に「物見遊山」という四字熟語をひとまとめに「禅宗に由来する言葉」としたものも見られるが、禅宗の言葉が語源となっているのは「遊山」のみで、「物見」や「物見遊山」の語源ではない。