VPN远程桌面后，操作系统很慢。

我们公司有两个厂房，现用VPN连接，当另一厂房的客户端通过VPN远程桌面时，远程电脑反映特别慢，请问是什么原因？
远程电脑的配置是：CPU 2.40GHz，内存：2GB,是专用服务器。
安装的操作系统是windows server 2003,最多同时4人远程连接。
有的时候很快，但大部份时间很慢，请问这是什么原因？？