可以拒绝,如果公司有违法的行为或者强制调岗就要维护自己的权益。
《劳动合同法》第三十五条用人单位与劳动者协商一致,可以变更劳动合同约定的内容。变更劳动合同,应当采用书面形式。变更后的劳动合同文本由用人单位和劳动者各执一份。
根据上述规定,你在公司里工作了几年,对公司已经很熟悉,而且业务能力也得到了领导的认可,所以不愿意去别的部门工作是正常的,但是你们没有签订劳动合同,那么按照《劳动合同法》第八十二条:“用人单位自用工之日起超过一个月不满一年未与劳动者订立书面劳动合同的,应当向劳动者每月支付二倍的工资”的规定,你可以申请双倍工资赔偿。