Tenes que realizar un fordward de los puertos 5060 que utiliza el UDP de SIP, a su vez tambien los de RTP 10000-2000.
Por otro verificar que nada en el medio este rompiendo o modificando los paquetes, firewall, nat, etc, el UDP no necesita establecer conexión entonces cualquier cosa que lo modifique sera un paquete perdido.
Si queres podes realizar una VPN a tu router para los users que se conecten desde afuera, también podes utilizar STUN, verifica rport y STUN
Si vas a utilizar Softphone como xlite, utiliza extenciones IAX2 que trabajan por TCP y estas funcionan seguro.
Avisame,
Saludos