我爷爷有8个子女,5女3男,现在老大已经去世,老二老三在外地,剩下的就在本地,老六在我奶奶去世之后三年没有到我爷爷那里去看过一次,更谈不上赡养了,现在我爷爷已经瘫痪在床,他也没有来看一眼,这是不是已经构成遗弃了,应该得到怎样的惩罚?谢谢