担保人有责任。

因为信用社发放贷款需要一定的风险控制措施，其中包括必须有担保人。

虽然工厂没有主体，但是担保人相当于给予信用社一定的信任背书，表示自己可以承担债务，如果债务方发生违约，就需要担保人进行偿还。

如果担保人不能按时还款，那么信用社就有权采取追偿措施，包括但不限于对担保人进行法律追诉、对其财产进行强制执行等。

因此，担保人应该非常谨慎，不轻易为他人担保，减少风险和责任。