铁路职工被调异地，有权拒绝，并可以向用人单位提出协商。

根据《劳动合同法》规定，变更工作岗位属劳动合同的变更，劳动合同的变更必须经双方协商一致。因此，如果公司未经协商就将职工调往异地工作，职工有权拒绝。

在拒绝时，建议与直属领导进行沟通，说明自己的理由和困难，争取公司的理解。如果公司仍然坚持调岗，可以寻求法律援助或者通过其他途径维护自己的权益。