La commune possède quelques sites archéologiques, certains datant de la préhistoire et d'autre de l'époque Gallo-Romaine. Dans les sites préhistoriques on retrouve des trâces du premier monde rural avec des fermes fortifiées par des fossés ou des palissades. L'époque Gallo- Romaine quant à elle nous a laissé également quelques traces. Parmi ces trouvailles on trouve des tuiles, des fragments de scorie de fer, des poteries en céramique, des pièces de bronze, ect...
Un nebeud lec’hiadoù henoniezh a vez kavet e Bei, lod eus ar ragistor, lod eus ar mare galian-ha-roman. Kavet e vez el lec’hiadoù ragistorel roudoù eus ar maezioù kentañ gant feurmioù mogeriet gant fozioù pe peulgaeoù. Un nebeud roudoù a chom ivez eus ar mare galian-ha-roman : teol, tammoù houarn teuzet, podoù-pri-poazh, pezhioù arem, h.a.
La Bretagne qui était la région française la plus pieuse compte une multitude de calvaires. Baye en possède plusieurs. On les rencontre aux croisements de certaines route de campagne. La croix est un signe de protection très représenté du XVI siècle à nos jours. Elles symbolisent l’acte de de la communauté. On les rencontre souvent aux carrefours, elles guident le voyageur et le protègent de l’inconnu et des mauvaises rencontres. Elles sont parfois un lieu de pélerinage. Chaque année, aux "Rameaux", avait lieu une procession très importante jusqu’à la croix où on la bénissait.
Ur bern kalvarioù a zo e Breizh dre ma oa ar c’horn-bro kristen-tre. Meur a hini a zo e Bei. En hentoù bihan e weler anezho. Un arouez gwarez eo ar groaz abaoe ar XVIvet kanved. Heñchañ a ra ar veajourien ha gwareziñ a ra anezho diouzh an dianav ha diouzh al laeron. Ul lec’h pirc’hirinañ e c’hell bezañ. Bep bloaz, da vare Sul ar Bleunioù e veze ur prosesion a-bouez betek ar groaz a veze benniget.
