结论：打架时你跟着去了但没有动手，是否构成犯罪并非一概而论，而是取决于你在事件中的具体行为、作用以及主观意图。以下从不同角度为你详细分析：
一、一般不构成犯罪的情况
单纯在场未参与：
- 如果你只是单纯地跟随到了打架现场，没有实施任何参与打架的行为，包括没有为打架提供帮助、策划、指挥等，并且主观上也没有参与打架的故意，那么通常不构成犯罪。例如，你只是偶然路过，看到朋友在打架，但并未参与其中，也没有为打架的任何一方提供帮助或支持，这种情况下，你不具备犯罪的主观故意和客观行为，因此不构成犯罪。
情节轻微且未造成严重后果：
- 在某些情况下，尽管你在打架现场有一定程度的参与（如试图劝阻但未成功），但若你的行为情节显著轻微，未造成实际伤害或严重后果，也不应视为犯罪。比如，朋友间因小事发生争执，你到场后试图劝阻，但未能成功，且冲突迅速平息，未造成任何伤害后果，这种情况通常不构成犯罪。
二、可能构成犯罪的情况
共同犯罪中的从犯或胁从犯：
- 从犯：如果你与打人者有事先的共谋，即使未直接动手，也可能因在共同犯罪中起次要或辅助作用而被视为从犯。例如，你与朋友合谋教训某人，虽未动手但负责望风或提供其他帮助，使打人行为得以顺利实施，即构成共同犯罪中的从犯。
- 胁从犯：如果你因被胁迫而参与打架事件，即便未动手，也可能因主观上存在犯罪故意而构成胁从犯。比如，你被威胁若不从便伤害你的家人，被迫参与打架但未动手，仍可能构成犯罪。
特定犯罪的帮助犯：
- 如果你为打架者提供了实质性的帮助（如提供作案工具、信息等），且该帮助对打架行为的发生和结果起到了重要作用，即使未直接动手，也可能构成特定犯罪的帮助犯。例如，你明知朋友要去打架，仍为其提供刀具，导致他人受伤，即构成故意伤害罪的帮助犯。
聚众斗殴罪的参与者：
- 如果打架事件升级为聚众斗殴，且你作为其中一员积极参与（即使未动手），根据《刑法》的相关规定，可能构成聚众斗殴罪。对于首要分子和其他积极参加者，将处以三年以下有期徒刑、拘役或者管制。在特定情况下，如多次聚众斗殴、人数多且规模大等，刑罚可能更重。
三、法律责任认定程序及建议
法律责任认定程序：对于涉及打架事件的法律责任认定，通常由公安机关进行调查处理。公安机关会依法收集证据、调查事实，并根据相关法律规定对涉案人员进行责任认定。如果你被认定需要承担法律责任，公安机关会依法告知你享有的权利和应当履行的义务，并依法作出相应的处理决定。
建议：在遇到此类情况时，我建议你及时报警并配合公安机关的调查处理。同时，也提醒你在日常生活中要遵守法律法规，避免参与任何违法行为，以免给自己带来不必要的法律风险。如果你对具体情况或法律责任有疑问，可以直接向我咨询，我会根据你的具体情况为你提供详细的法律解答和建议。