Com vírgula ou sem vírgula? Depende. Se a referência obedecer à ordem crescente, vá direto. Não use o sinalzinho. Caso contrário, sim: Inciso II do parágrafo 2º do artigo 5º da Constituição Federal. Constituição Federal, artigo 5º, parágrafo 2º, inciso II.
Atenção, muita atenção: não misture a ordem. Siga do começo ao fim a subida ou a descida.