村委会有权收回我复垦的土地吗

宁夏回族自治区灵武县某村农民吴某来信说：我在上世纪90年代初以每亩地100元的价格承租了本村小学校的一块耕地，共种植5年。1996年，因我村发生特大洪水，该土地被冲坏。后我与学校协商，由我负责复垦，复垦后土地归我长期使用，不再缴纳费用，但负责学校的保卫安全。2007年，学校因生源的原因外迁到邻村。我村村委会认为，学校既然已经迁走，他们就要收回学校的土地，也包括我种植的土地。对此，我提出不同意见，因为我在复垦过程中耗费了大量的人力和物力．村委会不能收回：请问，我的要求合理吗？