这是一个很深刻的哲学问题，我不是哲学家，只能从粗浅的日常生活层面谈谈个人看法。
首先，需要界定一下，这里所说的“人”，是指与“己”没有亲密关系的路人甲，这样才便于从普遍意义上讨论。
1，“己”“人”要有相同的嗜欲，才存在施与不施的问题。“己”想游泳，把在岸边观光的“人”推下水，这显然不合适。
2，满足“己”最基本的生存条件，才能考虑施与不施的问题。不论从伦理还是法律的层面，当两个濒临饿死的人，在面对最后一口食物的时候，大打出手甚至以命相博，都是无可厚非的，在这种情况下，能“施”的都是圣人，我们不能要求人人都是圣人。
3，追求“己所欲”，轻易不“施于人”，既是拓展个人生存空间的需要，在一定程度上，也是推动社会发展的动力。我们追求专利技术，追求心爱的另一半，追求更高的职位，凡此种种，是为了实现自己的理想抱负，让这个社会变得更加美好，怎么能轻易地施与路人甲？
4，“己所不欲勿施于人”，往往是通过“有所不为”的手段，达到“有所为”的目的，相对来说付出较小，比较容易做到，所以圣人把它作为普通人的行为准则。如果非要更进一步，我觉得是“人所欲，施于人”，也就是所谓的“君子成人之美”。至于说“己所欲，施于人”，要等到天下大同的时候才能实现，在现阶段是做不到的。
5，从难易程度上讲，递进的次序应该是这样:人所不欲勿施于人；己所不欲勿施于人；人所欲施于人；己所欲施于人。
任何价值观都有两种表达方式：正向的，反向的；己所不欲勿施于人，是指不作恶，是反向表达。提问者按双重否定的逻辑思维，提出的问题，并不是“己所不欲”所对应的正向表达。孔子其实另有一句：己欲立而立人，己欲达而达人。所以，我的回答是，因人而异、因事而异，有些欲，若正当，你想要好生活，也让别人过上好日子；有些欲貌似合理，却是把快乐建立在别人的痛苦之上，当然不行。
孔子这句话，主要启发人要有同理心。
总而言之，要具体问题具体分析，不要固化思维，不要误用了好心。还有就是，求同存异，尊重他人