不可以去掉。
根据公安机关申请增加曾用名管理规定，凡公民申请增加曾用名的，须由公民本人提出书面申请，并且理由充分。
理由充分是指申请人能提供曾经使用过需增加的曾用名的证明材料，如职工档案、人事档案、学籍档案等材料，最好是曾经在公安机关登记的名字。
需要携带户口本、身份证、个人申请、还有增加曾用名的依据或当地派出所的证明等，到户口所在地派出所或人口服务管理中心办理。
正常规定曾用名不可能删除，如果你以前有一部分档案是使用的曾用名，那就是不能删除，如果删除就是档案缺失，以后连退休都不能申请。
扩展资料：
特别提醒
改名一定要慎重，因为改名后会涉及到自己的银行卡、社保、医保以及产权证等等一系列问题，若处理不好，也会产生许多麻烦。
（1）未满16周岁公民要求变更现用姓名的，由父母或者监护人持居民身份证、户口簿，填写申请报告，向户口所在地公安派出所申请，经派出所审核批准后，办理变更。
（2）已满16周岁公民要求变更现用姓名的，由本人填写申请报告，持居民身份证、户口簿、证书原件及有关证明（有单位的要有干部履历表或招工表并由单位核实签意见盖章），向户口所在地公安派出所申请，报县级公安机关审批后，办理变更。
（3）父母离异后一方要求变更未成年子女姓名的，必须经双方协商一致并签协议后，方能申请办理变更。
（4）父母离异后一方亡故另一方再婚要求变更未成年子女姓名的：
①十六周岁以上未满十八周岁且以本人的劳动收入为主要生活来源的未成年人，可以自主决定本人姓名的变更，其父亲和继母，或者母亲和继父要求变更其姓名的，必须征得其本人同意。
②十周岁以上的未成年人的父亲和继母，或者母亲和继父经协商同意，要求变更该未成年人姓名的，应当征得其本人的同意。
③不满十周岁的未成年人姓名的变更，由其父亲和继母，或者母亲和继父协商一致后决定。
（5）公民要求增加"曾用名"的，需增加的"曾用名"必须是公民过去在户口登记机关申报登记并正式使用过的姓名。
参考资料：百度百科-公民变更姓名