O motivo pelo qual você não vê todos os seus contatos pode ser que alguns contatos são compartilhados com você, mas você não está atribuído a eles. Se o contato aparecer apenas em Contacts shared with me lista, esse contato foi compartilhado com você e não atribuído a você. Isso não os coloca em sua lista de contatos, mas permite que você receba uma notificação sobre qualquer alteração feita nesse contato.