在对方五个人打两个人的情况下，作为被害者，您不一定会被拘留。是否会被拘留取决于具体的情节、责任认定以及伤害后果等多个因素。以下是对此问题的详细分析：
情节轻微且达成和解的情况
- 如果打架情节特别轻微，例如双方只是发生了轻微的肢体接触，并未造成明显伤害，且双方能够达成和解协议，公安机关认为不需要给予治安管理处罚的，则您作为被害者不会被拘留。依据《中华人民共和国治安管理处罚法》第九条，对于因民间纠纷引起的打架斗殴等违反治安管理行为，情节较轻的，公安机关可以调解处理。经调解达成协议后，不予处罚。
情节较重但您无过错的情况
- 若打架行为导致一定伤害后果，但您作为被害者完全无辜，未动手也未参与打架，或者您的行为属于正当防卫且未超出必要限度，那么您不会被拘留。根据《中华人民共和国治安管理处罚法》的相关规定，对于具有社会危害性但尚不够刑事处罚的行为，公安机关会给予治安管理处罚，但这一处罚不会针对无辜者或正当防卫者。例如，若五人无故挑衅并先动手殴打您和另一人，您和另一人在自身安全受到威胁时进行反击且未超过必要限度，此时您和另一人属于正当防卫，可能只有对方五人会被拘留。
情节严重且可能涉及刑事责任的情况
- 若打架行为导致他人轻伤、重伤甚至更严重的后果，且您作为被害者虽然未主动攻击，但在冲突中有过激行为或参与了部分冲突，那么您的行为可能需要承担一定的法律责任，但通常不会直接导致您被拘留为打架斗殴的违法行为人。然而，如果您的行为被认定为共同犯罪或协助犯罪等，则可能面临刑事责任。不过，在大多数情况下，作为被害者，您更可能的是作为证人或受害者参与案件处理，而非被拘留的对象。若对方五人的行为构成犯罪（如故意伤害罪），则他们可能需要承担刑事责任，而您作为被害者，有权要求赔偿并寻求法律保护。
特殊情况下的拘留决定
- 在某些特殊情况下，如您作为被害者存在过错或挑衅行为，导致冲突升级，且您的行为也违反了治安管理规定，那么公安机关可能会根据具体情况对您进行一定的处罚，但这种情况相对较少见。公安机关在处理打架事件时，会严格依据事实和证据进行判定，确保处罚的公正性和合理性。
建议与提醒：
- 在遇到打架等冲突情况时，建议双方保持冷静，尽量避免暴力行为。
- 如已发生打架事件，应及时报警并配合公安机关的调查处理。
- 作为被害者，您有权要求赔偿并寻求法律保护。如果对方的行为给您造成了身体伤害或财产损失，您可以向公安机关报案，并要求对方承担相应的法律责任。
- 在处理过程中，如有任何疑问或需要法律帮助，请直接向我咨询。我会根据您的具体情况提供准确的法律意见和指导。