众所周知，用工单位与劳动者（被派遣劳动者）之间属于用工关系，并不是劳动合同关系。存在劳动合同关系的是派遣单位和被派遣劳动者。因此，当被派遣劳动者有权利可解除劳动合同时，用工单位只能将其退回到劳务派遣公司，并不能直接解除劳动合同。

《劳动合同法》第六十五条第二款规定，被派遣劳动者有本法第三十九条和第四十条规定情形的，用工单位可以将劳动者退回劳务派遣单位，劳务派遣单位依照本法有关规定，可以与劳动者解除劳动合同。

此外，用工单位在退回被派遣劳动者时需注意，退回劳动者是有限制的，只限于被派遣劳动者有劳动合同法第三十九条和第四十条规定情形，即：

1、被派遣劳动者在试用期内被证明不符合录用条件的；

2、被派遣劳动者严重违反用工单位的规章制度的；

3、被派遣劳动者严重失职，营私舞弊，给用工单位的利益造成重大损害的；

4、被派遣劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用工单位提出，拒不改正的；

5、被派遣劳动者以欺诈、胁迫的手段或者乘人之危，使对方在违背真实意思的情况下订立或者变更劳动合同，致使劳动合同无效的；

6、被派遣劳动者被依法追究刑事责任的；

7、被派遣劳动者患病或者非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用工单位另行安排的工作的；

8、被派遣劳动者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的。

在符合劳动合同法第四十条第三项及第四十一条的情况下不能将被派遣劳动者退回。比如用工单位在裁员时，不能“裁减”（即退回）被派遣劳动者，否则违反法律规定。