不需要，新公司第一次报税可以在网上完成。这是因为当今的网上报税服务已经十分发达，使得新公司无需亲自去到税务局就能够完成报税手续。

此外，它也具备了方便快捷、省时省力的特性；而且对于一些比较复杂的情况，也有专门的在线咨询服务。总之，新公司不需要到税务局就能实行报税手续；而通过使用当前的在线报税服务就能够快速、便利地实行各项手写。