针对您提出的问题，即“弱智弟弟的监护人是否必须由法院认定，以及没有遗嘱只有事实监管是否算是其监护人”，以下是我的详细解答：

首先，关于监护人的认定，它并非必须完全由法院来决定，但在某些情况下，法院的认定是必要的。根据《中华人民共和国民法典》的相关规定，无民事行为能力或者限制民事行为能力的成年人，其监护人通常按照法定顺序来确定，包括配偶、父母、子女、其他近亲属以及其他愿意担任监护人的个人或组织（但须经被监护人住所地的居民委员会、村民委员会或者民政部门同意）。在您的案例中，如果弱智弟弟（假设为无民事行为能力或限制民事行为能力的成年人）的配偶、父母、子女等法定顺序的监护人存在且具备监护能力，那么他们通常是首选的监护人。

然而，如果法定顺序的监护人之间存在争议，或者法定顺序的监护人无法履行监护职责（如因疾病、年老、失踪等原因），或者被监护人需要更专业的照顾和管理，那么就需要通过法院来指定监护人。法院在指定监护人时，会遵循“最有利于被监护人”的原则，综合考虑各方的监护能力、与被监护人的生活情感联系、意愿品行等因素。

其次，关于“没有遗嘱只有事实监管是否算是其监护人”的问题，事实监管本身并不直接等同于法律上的监护人身份。监护人的身份需要基于法律的规定和法院的认定（在必要时）。即使您或您的家庭成员长期对弱智弟弟进行事实上的照顾和管理，如果没有法律上的认定或法院的指定，您们并不自动成为其法律上的监护人。但是，这种事实上的照顾和管理可以作为您们申请成为监护人的重要参考和依据。

在实际操作中，如果您或您的家庭成员希望成为弱智弟弟的监护人，但与其他法定顺序的监护人存在争议，或者您们认为其他法定顺序的监护人无法履行监护职责，那么您可以向法院提出申请，要求法院指定您们为监护人。在申请过程中，您需要提供充分的证据来证明您们具备监护能力、与被监护人有密切的生活情感联系，并且指定您们为监护人是最有利于被监护人的。

最后，我想强调的是，监护人的责任是重大的，包括对被监护人的人身、财产以及其他一切合法权益的监督和保护。因此，在决定成为监护人之前，请务必充分考虑自身的能力和责任，确保能够为被监护人提供最好的照顾和管理。

希望以上解答能够对您有所帮助。如果您还有其他问题或需要进一步的帮助，请随时告诉我。