护照需要交由户口所在地公安局出入境管理处或给你办理护照的部门注销，因为办理时的档案都存在那里。

法律依据：《中华人民共和国护照法》

第十五条 人民法院、人民检察院、公安机关、国家安全机关、行政监察机关因办理案件需要，可以依法扣押案件当事人的护照。案件当事人拒不交出护照的，前款规定的国家机关可以提请护照签发机关宣布案件当事人的护照作废。

第十六条 护照持有人丧失中华人民共和国国籍，或者护照遗失、被盗等情形，由护照签发机关宣布该护照作废。