为什么就不是正当防卫了

有时双方吵架，对方打了你一拳，恼羞成怒的你立马打对方一拳还了回去。警察出面干预，这时很多人可能会理直气壮地说：“是别人先动手打我，我还手，难道不是正当防卫吗？”那么，这种行为真的构成正当防卫吗？《刑法》第二十条为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为，对不法侵害人造成损害的，属于正当防卫，不负刑事责任。