Происхождение названия башни связано с красивой легендой. В ней говорится о старце, который очень давно улетел на жёлтом журавле. Это был волшебник-даос. Он любил пить вино в местной корчме, а хозяин ее не брал с него денег. Чтобы поблагодарить хозяина, гость апельсиновой кожурой нарисовал на стене волшебного жёлтого журавля. Стоило лишь хлопнуть в ладоши, как журавль сходил со стены и танцевал для посетителей, число которых день ото дня всё увеличивалось. Через 10 лет волшебник-даос снова появился в корчме, хлопнул в ладоши и, сев верхом на сошедшего со стены журавля, взмыл в небо. Больше его в этой местности никто не видел. Владелец корчмы, фантастически разбогатевший от наплыва посетителей, построил в память о происшедшем чуде красивую башню, назвав её Башней Жёлтого Журавля».