物色は、物の色、動物の毛色、自然の景色などを意味した語である。
そこから、姿や形も意味するようになり、物の色や姿形を見極める行為の意味で用いられ、容姿によって人を探したり、手頃な物を探すことを表すようになった。
中国の儒教経典『礼記』に「生け贄にする動物は毛色の良いものを選ぶこと」として「物色」が使われていることから、生け贄を選ぶ意味が転じたとする説もある。
しかし、ここでの物色は、本来の「動物の毛色」という意味しかない。
「生け贄を選ぶ」から「探し出す」の意味になったとすれば、日本で「物の色」や「動物の毛色」の意味は持たなかったはずである。