Behörighetsstyrd AI-sökning i många företags data

Data får inte gå mellan kundföretag, och en HR-post får inte nå en säljare. Eftersom kunderna sätter upp tjänsten själva gick det inte att be dem strukturera om sin data.

Ensam utvecklare: arkitektur, kod, utvärdering och uppsättningen med Docker Compose.

• Arkitektur: pgvector som primär vektordatabas och Pinecone bakom samma gränssnitt, så att funktionerna inte behöver särfall per databas.
• Frontend: Chattvy med källhänvisningar och Rätt/Fel-markeringar med kommentarer för att granska missar.
• Backend: FastAPI-tjänst; connectors för PostgreSQL och Dropbox märker varje textbit med företag, grupper och personer den delats med.
• Data och AI: Hybridsökning, reranking i samma process och modellplanerad sökning, SQL eller båda, styrd av verksamhetsbegrepp.
• Säkerhet: Modellskriven SQL körs skrivskyddat bakom row-level security och en parserkontroll; uppladdade filer tolkas i tidsbegränsade barnprocesser.
• Infrastruktur och DevOps: Docker Compose; ett kommando bygger varje företags schema, index och inloggningar från konfiguration.
• Test: 486 automatiska tester, bland annat för isolering i båda databaserna; fem före/efter-utvärderingar avgjorde vad som fick stanna.

• Delat index eller schema per företag. Jag valde scheman, så att det är databasen och inte applikationskoden som stoppar läsningar mellan företag. Priset: fler objekt.
• Modellskriven SQL. Jag valde en synkad kopia framför kundernas skarpa databaser: ingen last hos kunden, men datan är bara så färsk som senaste synken.
• För många begrepp. Med 300 verksamhetsbegrepp tog varje fråga runt 38 sekunder; en väljare kortade det till runt 12 sekunder, med rätt begrepp för 41 av 41 testfrågor.

På ett syntetiskt utvärderingsset: reranking satte rätt post först för 34 av 40 frågor (tidigare 28); SQL-planering besvarade 12 av 13 frågetyper (tidigare 5); begreppen lyfte ett formuleringstest från 44 till 51 av 53.