应该赡养。因为，抚养义务和赡养义务是两个法律关系，当父母双方或者一方拒不履行抚养子女义务时，未成年或者不能独立生活的子女有要求父母付给抚养费的权利，而不能因为父母未尽抚养义务去对抗赡养义务。
法律依据
《民法典》
第26条 【父母子女之间的法律义务】父母对子女有抚养教育的义务；子女对父母有赡养扶助的义务。
父母不履行抚养义务时，未成年的或不能独立生活的子女，有要求父母付给抚养费的权利。
子女不履行赡养义务时，无劳动能力的或生活困难的父母，有要求子女付给赡养费的权利。
资料扩展
在司法实践中，存在3种可免除赡养义务的情形：
1、未婚或离异的成年子女无经济收入、丧失劳动力或不能独立生活的；
2、已婚的成年子女本身无经济收入，其家庭的收入不足以维持当地基本生活水平的；
3、父母对子女有严重犯罪行为，比如犯有杀害子女、虐待子女严重的、遗弃子女的、或强奸女儿等行为的。
抚养义务和赡养义务是两个法律关系，当父母双方或者一方拒不履行抚养子女义务时，未成年或者不能独立生活的子女有要求父母付给抚养费的权利，而不能因为父母未尽抚养义务去对抗赡养义务；即使父母对子女未尽抚养义务，在其无劳动能力的或生活困难时向子女主张赡养权时也会得到法律支持。