理论上是可以的，不过你需要把两个路由器的ip地址改一下，不要用同一个地址，那样根本上不去网，会产生冲突。
你可以把第一个ip地址设置成尾数为1.1，第二个ip地址尾数设置成4.4，另外，你在第一个路由器上接出来一根网线，把这根网线接到另一个路由器上，然后再分别连接电脑，应该就可以直接上网了。
如果同时用两个路由器的话，就需要双网卡，而且双网卡也设置优先。你在4楼那个是在1楼拉线上去，还是两个独立的宽带呢？如果是两个独立的就将两个都设成路由器，如果是从1楼拉线上去就将4楼那个设置成交换机（具体很简单，取消dhcp功能，wlan口不接线）。