借调在其他单位4年多,先已回原单位两年,借用期间上级部门文件要求原单位发放基本工资,其他待遇按规定在工作单位解决,借用期间不定时提供原单位工资表作为待遇差额发放依据,现在原借用单位说多领钱要求退回怎么办?