TypeScript kan inte hitta modul som är definierad i deklarationsfilen för ett npm-länkat lokalt projekt

Jag har en modul Foo som har en deklarationsfil builds/declarations.d.ts, som nämns i package.json:

'types' : './builds/declarations.d.ts'

Deklarationsfilen deklarerar saker på följande sätt:

declare module '@my/module/lib/models/Base' {
    export default class Base { 
        test():void;
    }
}

Sedan i modul Bar har jag modul Foo länkad med npm link. Och den har filer som försöker komma åt klasser från Foo:

import Base from "@my/module/lib/models/Base";

men kompilatorn ger detta fel:

Cannot find module '@my/module/lib/models/Base'.

Observera att det fungerade tidigare när jag tillfälligt hade separata deklarationsfiler, så när @my/module/lib/models/Base.d.ts var en befintlig fil.

Men nu när jag har bundlat alla mina deklarationer snyggt i en fil, och nämnt det i package.json, kan kompilatorn inte hitta modulen.

Men det fungerar när jag specifikt lägger till deklarationsfilen till tsconfig.json på detta sätt:

"files": [
  "./src/index.ts",
  "./node_modules/@my/module/lib/models/declarations.d.ts"
]

Men jag trodde att hela poängen med att ha det deklarerat i package.json var att det skulle plockas upp automatiskt?

Några tips på vad jag borde göra annorlunda för att få kompilatorn att automatiskt plocka upp deklarationerna?