针对您提出的问题“不待在监护人身边，监护人可以不对被监护人负责吗”，首先我们需要明确的是，监护人的责任并不因其与被监护人的物理距离而改变。监护人对被监护人的责任是法律所赋予的，包括保护被监护人的合法权益、照顾被监护人的生活以及教育和培养被监护人等。

即使监护人不在被监护人身边，他们仍然需要承担这些责任。例如，监护人需要确保被监护人的生活得到妥善安排，包括住宿、饮食、教育等。如果因为某些原因，监护人无法直接履行这些责任，他们应该考虑委托他人代为履行，或者寻求相关机构（如民政部门、未成年人救助保护机构等）的帮助。

特别是在未成年人保护方面，如果监护人因自身原因或其他不可抗力因素无法履行监护职责，导致未成年人处于无人照料或监护缺失的状态，那么根据相关法律规定，民政部门有权依法对未成年人进行临时监护。但这并不意味着原监护人的责任就此免除，他们仍然需要关注被监护人的状况，并在条件允许时重新承担起监护责任。

因此，无论监护人是否在被监护人身边，他们都应该积极履行自己的监护职责，确保被监护人的健康成长和合法权益得到保护。如果监护人无法直接履行监护职责，应该及时寻求帮助并采取措施确保被监护人的生活和安全。