Πουρές πατάτας αλά μιλανέζε με πικάντικη γκρεμολάτα

Για τον πουρέ

• 120 ml φρέσκο γάλα, πλήρες, ζεστό
• 5-6 ίνες κρόκος Κοζάνης
• 1 κιλό μέτριες πατάτες, όσο γίνεται ίδιου μεγέθους
• 70 ml ελαιόλαδο
• 50 γρ. βούτυρο αγελάδας, σε κομματάκια
• αλάτι, φρεσκοτριμμένο πιπέρι
• 60 γρ. παρμεζάνα ή νιώτικο κεφαλοτύρι, τριμμένα (προαιρετικά)

Για την γκρεμολάτα

• 1 πιπερίτσα καυτερή, κόκκινη ή πράσινη, καθαρισμένη και ψιλοκομμένη
• 1/2 σκελίδα σκόρδο, ψιλοκομμένη
• ξύσμα από 1/2 λεμόνι
• 1 κουτ. γλυκού ψιλοκομμένο φρέσκο δεντρολίβανο ή 1/2 κουτ. γλυκού ξερό, καλά κοπανισμένο
• 2 κουτ. σούπας ελαιόλαδο