劳务派遣人员要由派遣单位来依法辞退。用工单位可以依法将派遣人员退回派遣单位，由派遣单位采取过错性辞退或者无过错性辞退等方式来与派遣人员解除劳动合同。