藤岡の由来には、藤の木のある丘や、山の端の意味で「フジ」は「フチ（縁）」の転といった説もあるが、神社の名に由来する説が有力とされる。
富士山の分霊を呼び祀った神社が「富士浅間神社」の創建以降、この地は「富士岡」と呼ばれるようになった。
しかし、隣の「富岡」と紛らわしかったため、「富士」の字を「藤」に改め、「藤岡」になったという。
「藤岡」の名が見られるのは『続太平記』（1438年）からで、鎌倉後期までは「常が岡（ときがおか）」と呼ばれていたと考えられている。
富士浅間神社の創建は1271年といわれており、社名に由来することは十分に考えられる。