Para quem não sabe o que é Robots.txt, ele é responsável por impedir que o Google e outros buscadores mostrem páginas e documentos que não façam sentido ser indexados ou mesmo representem riscos de segurança por estarem expostos.

Configurando

Para configurar acesse as configurações da loja como na imagem abaixo:

+SEO com Robots no Magento 2

E então cole o script abaixo no cambo do robots.txt, e marque a seleção como INDEX,FOLLOW.

Configurando Robots.txt no Magento 2

Caso tenha alguma melhoria me fale para tornar esse arquivo padrão ainda melhor.