安全监护人确实需要承担一定的责任，这一责任主要来源于法律对监护人职责的规定。

首先，根据《中华人民共和国民法典》的相关规定，监护人的核心职责是代理被监护人实施民事法律行为，并保护被监护人的人身权利、财产权利以及其他合法权益。这意味着，安全监护人不仅需要关注被监护人的日常安全，防止其受到伤害，还需要在必要时代表被监护人进行法律行为，如签订合同、处理财产等。

其次，如果安全监护人未能履行其监护职责，或者侵害了被监护人的合法权益，那么他们应当承担相应的法律责任。这种责任可能包括民事赔偿、行政处罚，甚至在严重情况下可能涉及刑事责任。例如，如果安全监护人因疏忽导致被监护人受伤或财产损失，他们可能需要赔偿被监护人的损失。

此外，在特殊情况下，如发生突发事件等紧急情况，导致安全监护人暂时无法履行监护职责，被监护人的生活处于无人照料状态时，被监护人住所地的居民委员会、村民委员会或者民政部门会介入，为被监护人安排必要的临时生活照料措施。但这并不免除安全监护人在事后应承担的责任，他们仍需对未能履行监护职责的行为负责。

综上所述，安全监护人确实需要承担责任，这种责任既包括对被监护人日常安全的保护，也包括在必要时代表被监护人进行法律行为，以及在未能履行职责时承担相应的法律责任。因此，作为安全监护人，应当认真履行自己的职责，确保被监护人的权益得到充分保护。