วัดพระบรมธาตุสวี ตั้งอยู่ที่ ต.สวี อ.สวี จ.ชุมพร ใกล้กับคลองสวี บนพื้นที่ประมาณ 1 ไร่ 1 งาน 30 ตารางวา มีตำนานถึงประวัติความเป็นมาตั้งแต่สมัยก่อนอยุธยา เป็นวัดเก่าแก่สร้างขึ้นคู่กับพระบรมธาตุสวี ภายในวัดมีบรรยากาศที่ร่มรื่น เงียบสงบ มีโบราณสถาน และสถาปัตยกรรมที่น่าสนใจ เช่น พระบรมธาตุสวี ศาลพระเสื้อเมือง และพิพิธภัณฑ์วัดพระบรมธาตุสวี

          มีตำนานเล่าว่า พระเจ้าศรีธรรมโศกราชพระองค์หนึ่ง (พระนามของกษัตริย์ผู้ปกครองนครตามพรลิงค์ หรือ นครศรีธรรมราช ช่วงสมัยพุทธศตวรรษที่ 17-19) พากองทัพกลับจากสงครามมาหยุดพักแรกที่วัดร้างแห่งหนึ่ง ซึ่งมีซากปรักหักพังเป็นกองอิฐดินเผาเกลื่อนกลาดทับถมกันอยู่ ในขณะนั้นมีกาเผือกกับกาฝูงหนึ่งบินมาจับกลุ่มอยู่ที่ซากอิฐดินเผาแล้วพากันวีปีกและส่งเสียงร้องขึ้นพร้อมกัน แม้จะไล่ไปกี่ครั้งก็กลับมาอีก พระเจ้าศรีธรรมโศกราช จึงทรงรับสั่งให้ทหารรื้อซากปรักหักพังออก พบองค์พระเจดีย์ใหญ่ยังเหลืออยู่ท่อนหนึ่งขุดดูภายในมีผอบทองบรรจุพระธาตุ จึงรับสั่งให้ก่อสร้างบูรณะพระเจดีย์องค์ขึ้นใหม่ แล้วนำเอาพระบรมธาตุเข้าบรรจุประดิษฐานไว้เช่นเดิม พระราชทานชื่อว่า พระบรมธาตุกาวีปีก ต่อมาคงเหลือแต่พระบรมธาตุกาวี และกร่อนเสียงเป็นพระบรมธาตุสวี ดังปัจจุบัน