「完璧」の語源は、平らで中央に孔のあいた宝玉を指す「璧（へき）」から派生しています。元来の意味では、「傷のない玉」を表しており、完璧とは欠点や傷が一切ない状態を指しています。この語が現在の意味で使われるようになった背景には、中国の故事が関係しています。
戦国時代の中国、趙の国にある「和氏の璧（かしのへき）」と呼ばれる立派な璧がありました。秦の国王である昭王がこれを欲しがり、「秦の15の城と交換したい」と申し出ました。使者の藺相如が秦の国へ赴いたものの、城との交換の兆しはなく、結局藺相如は命懸けで璧を持ち帰りました。この故事を「完璧而帰（璧をまっとうして帰る）」と称し、大事なことを成し遂げることや、欠点が全くない状態を「完璧」と表すようになりました。
また、注意すべきは「完璧」の漢字を書く際に、よく見られる「完壁」という誤字です。正しくは「完璧」で、「ぺき」は「玉」の意味であることを覚えておくと、正確な漢字表記ができます。