古くは「矢倉」「矢蔵」「矢庫」と書き、矢を納める倉の意味が原義で、『日本書記古訓』では「兵庫」を「やぐら」と読んだ例も見られる。
転じて、城壁などの上に設けて外敵を偵察したり、矢や射たりするために設けた構造物も「やぐら」と呼ばれるようになり、室町時代以降、軍船の上部構造物の「やぐら」が造られ、高く組み上げて造った構造物を指して「やぐら」と呼ぶようになった。
以降、火事を発見したり、その位置を見定めるため、遠方まで見渡せるように高く組まれたものを「火の見櫓」と言ったり、祭礼や盆踊りで太鼓などを演奏するために高く造られたものも「やぐら」、テーブル状に造られたこたつを「やぐらごたつ」と言うなど、木材や鉄骨を組んで高くしたものを「やぐら」と呼ぶようになった。