缓刑结束时间按照原判决确定的缓刑期限来计算，即四年期满时结束。不过，对于你提到的“第一年未参加社区矫正，后三年参加了社区矫正”的情况，虽然这不会改变缓刑的结束时间，但可能会产生以下影响，我分析如下：
违反缓刑规定：根据《刑法》的相关规定，被宣告缓刑的犯罪分子，在缓刑考验期限内，必须遵守一系列规定，其中包括按照考察机关的规定报告自己的活动情况、遵守考察机关关于会客的规定等，而参加社区矫正也是其中的重要一环。如果第一年未参加社区矫正，这很可能被视为违反了缓刑的相关规定。
可能的法律后果：违反缓刑规定，根据情节轻重，可能会面临不同的法律后果。轻者，可能会被给予警告或者处以治安管理处罚；重者，甚至可能会被撤销缓刑，执行原判刑罚。不过，由于你在后三年参加了社区矫正，且没有其他严重违反缓刑规定的行为，所以是否会被追究法律责任，还需要看具体情况和考察机关的决定。
综上所述，虽然你第一年未参加社区矫正，但这并不影响缓刑的结束时间。然而，这一行为可能违反了缓刑的相关规定，并可能带来一定的法律后果。因此，我建议你在今后的生活中，一定要严格遵守法律法规和缓刑的相关规定，避免再次发生类似的情况。如果有任何疑问或需要进一步的法律帮助，请随时向我咨询。