结论：对方来家辱骂老人和残疾人，是否会被拘留需视具体情况而定，若辱骂行为构成公然侮辱他人或捏造事实诽谤他人，且情节较重，则可能面临行政拘留；若情节特别严重，还可能构成侮辱罪，需承担刑事责任。
分析说明：
行政拘留的可能性：
- 根据《中华人民共和国治安管理处罚法》的相关规定，公然侮辱他人或者捏造事实诽谤他人的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。
- 在您描述的情况中，如果对方来家辱骂老人和残疾人的行为被认定为公然侮辱或捏造事实诽谤，且情节较重（如辱骂时间较长、言辞激烈、造成恶劣影响等），那么对方有可能面临行政拘留的处罚。
刑事责任的可能性：
- 如果辱骂行为情节特别严重，如长期辱骂、造成被害人精神失常或自杀等严重后果，那么可能构成侮辱罪。
- 根据《中华人民共和国刑法》的相关规定，以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。
- 在这种情况下，对方不仅可能面临行政拘留，还可能承担刑事责任。
其他法律后果：
- 除了行政拘留和刑事责任外，对方还可能因辱骂行为承担民事责任，如赔偿被害人因辱骂行为造成的精神损害抚慰金等。
- 如果辱骂行为发生在经济纠纷的背景下，且该行为对经济纠纷的解决产生了不良影响，那么对方还可能因妨碍民事诉讼等行为受到法院的制裁。
行动建议：
- 收集证据：建议您及时收集对方辱骂行为的证据，如录音、录像、证人证言等，以便在需要时向公安机关报案或向法院提起诉讼。
- 报警处理：如果对方辱骂行为情节严重，您可以直接向当地公安机关报案，由公安机关依法处理。
- 提起诉讼：如果对方辱骂行为给您或您的家人造成了严重损害，您还可以考虑向法院提起民事诉讼或刑事自诉，要求对方承担相应的法律责任。
后续思考依据：
- 在处理此类纠纷时，证据的收集至关重要。只有充分的证据才能支持您的主张，使对方受到应有的法律制裁。
- 报警和提起诉讼是维护自身权益的有效途径。在报警或提起诉讼前，建议您先咨询专业律师的意见，以便更好地了解自己的权利和义务。
如有其他疑问或需要进一步的法律帮助，请直接向我咨询。