人们对宝木痴迷的原因要追溯到1300多年前。据传，那时西大寺观音院刚刚建成，一位来自奈良的高僧将一种叫“修正会”的仪式传入此地。在这个仪式上，僧侣们把庙里的宝物用“牛玉纸”包好，放在千手观音像的背后，供奉14天，祈祷国家安定、五谷丰登、人民富足。
仪式结束后，用来包宝物的纸由住持赠给年长的信徒。得到牛玉纸的家庭一年内果真顺顺当当、丰衣足食，于是，信徒们每年都来争抢牛玉纸，会阳节的风俗由此形成。到了500年前的室町时代，易碎的牛玉纸演变成杉木制成的宝木。当时的住持忠阿上人规定，由寺院抛下两块宝木，男性信徒自由争抢。