持单程证来香港是无法办理回乡证的。回乡证是为中国内地居民提供的一种便利出入境证件，持有回乡证可以在香港、澳门和台湾地区自由出入境。但是，持单程证来香港的人并不是中国内地居民，因此无法办理回乡证。如果需要离开香港回到内地，可以凭借单程证和其他有效证件前往边境口岸办理出入境手续。