Na cesti Ž5209 (vrh Lima, D75 – Kaštel, D510) nalazi se naselje Kaštel (talijanski Castelvenere). Naselje sa svojih 643 stanovnika (2011. g.) je drugo najveće naselje po broju stanovnika, poslije naselja Buje, na području Grada Buja. Kaštel se sastoji od više raštrkanih zaseoka: Dvorina, Gadari, Juki, Kaštel, Kazarole, Malotija, Medigija, Montrin, Morožija, Paldigija, Todeški, Ščavonija, Vižinada, Volpija i Vrh. Središte naselja tvore zaseoci Malotija i Dvorina, a najstariji dio, zaseok Kaštel, se nalazi na brdu (144 mnv), a od središta naselja je udaljen oko jedan kilometar. Arheološkim istraživanjima na brdu je pronađena paljevinska nekropola od 8. do 6. stoljeća pr. Kr., čime je potvrđeno postojanje prapovijesnog gradinskog naselja. Prema jednoj teoriji, nakon rimskih osvajanja gradina postaje utvrda-castrum te se naziva Castrum Veneris, po hramu posvećenim rimskoj božici Veneri koji se nalazio na tom mjestu. Prema drugoj teoriji toponim se odnosi na Castrum venae (po keltskoj riječi vena što znači litica) po litici na kojoj se nalazi. Nije poznato da li se na brdu živjelo u kontinuitetu, a niti kada je kaštel izgrađen na području nekadašnje gradine. Kaštel se prvi put u povijesnim izvorima spominje 1064. godine kao posjed piranskog plemića Artuika, kada ga je prodao Ulriku II. Weimarskom, koji ga je potom 1102. godine poklonio akvilejskim patrijarsima. Akvilejski patrijarsi su preko postavljenog gastalda u Kaštelu upravljali cijelom sjevernom Istrom. 1268. godine je stradao u ratu patrijarha protiv Goričkih grofova. 1310 godine Mlečani su ga osvojili i spalili te je 1420. postao njihovim posjedom. Od 1518. godine u privatnim je rukama i do kraja 18. stoljeća više puta mijenja vlasnike. Zanimljivo je da su se od doba Mlečana pa sve do 1797. godine Buje i Piran sporili nad tim područjem.