法邦网—法律咨询

事情：十年前，我爷爷与他弟弟（也就是我小爷爷）一起种植了一批摈榔，当年是分了两份，一份由我们家培养管理，另一份由他。（分给我们家的那部分每年我们都去锄草、喷农药，管理培养，十年来一直都是）。可两年前他的那部分被人砍掉了，现在我们家那份摈榔成熟了（我爷爷过世了），他却去摘，还多次到我们家辱骂我们，说那摈榔是他的。当年只是口头协议，没有任何书面证明（但有一个人证）。这样的纠纷该如何解决，我该怎样维权？