「ヤマブキ」は古い時代から親しまれていたようです。
古い時代には「山振」とされていて、山裾などに群生するヤマブキのしなやかな茎が風に揺れる様子を「山が振れる」と表現したものとされています。
ここから「ヤマブキ」に転訛したという説が一般的です。
万葉集に１７首ほどでヤマブキが詠われています。
「花咲きて 実はならねども 長き気に 念（おも）ほゆるかも 山振の花」
このように、奈良〜平安時代には既に、実のならない八重咲きのヤマブキが身近であったことをうかがわせます。
「源氏物語」、「枕草子」、「平家物語」や「徒然草」などの多くの文芸などにもその名が現れています。
江戸時代にも芭蕉、蕪村や一茶の句集等に詠われています。
「ほろほろと 山吹ちるか 滝の音」 芭蕉
また、江戸城を築城した太田道灌が突然の雨に見舞われ、とある農家で「蓑（みの）：雨合羽（あまがっぱ）」を借りようとしたところ、そこの娘が黙って「ヤエヤマブキ」の小枝を差し出した故事はよく知られています。
太田道灌は、その後この「ヤエヤマブキ」の小枝が、
「七重八重 花は咲けども 山吹の みのひとつだに なきぞあやしき」
の和歌にちなんだものであったことを知り、己の無知を恥じたとされています。「実のひとつ」が「蓑ひとつ」にかけられた掛け言葉になっています。
なお、この和歌は平安時代の「後拾遺和歌集」に現れています。
また、花の鮮黄色から、鮮黄色のことを「やまぶき色」と呼びます。
茎の髄は、顕微鏡用の切片を切り取るときのピスに利用されます。