Podle tradice se na velkých balvanech poblíž Rychnova nad Malší někdy kolem roku 1500 zjevila Panna Maria s Ježíškem třem malým pasáčkům. Kámen, na němž Madona seděla, se později rozpůlil a obě dvě jeho dvě části se podle legendy od sebe vzdalují. To byl začátek historie poutního místa Svatý kámen.