SamGIS – Alcuni appunti su Segment Anything
Rimando alle mie note in inglese su Segment Anything.
A proposito del riutilizzo degli embedding delle immagini e SamGIS
Dopo aver riletto questo paper ho capito che avrei potuto migliorare l’efficienza di SamGIS conservando e riutilizzando gli embedding delle immagini.
Ho implementato questa modifica in SamGIS versione 1.3.0. Alcuni dati di test dalla demo SamGIS che ho utilizzato:
prima chiamata: 5.42s
modello fastsam istanziato
immagine creata dalla mappa web (uso OpenStreetMap come tile provider e Mapnik come layer della webmap)
creato il embedding dell’immagine
seconda chiamata: 0,41 s
dalla terza alla settima chiamata: ~0,34s
Si tenga presente che effettuando una chiamata immediatamente dopo l’altra la durata rimane bassa, probabilmente a causa dell’utilizzo della cache durante il download delle tile nel back-end. Aspettando più di 10 minuti sembra invalidare la cache, quindi contextily (la libreria di GeoPanda che utilizzo come client di Tiles) ha impiegato da 0.5s a 1.5s di tempo, durante le mie prove, per il download delle tile.
“bbox”: {
“ne”: {
“lat”: 46.236615111857255,
“lng”: 9.519996643066408
},
“sw”: {
“lat”: 46.13405108959001,
“lng”: 9.29821014404297
}
},
“prompt”: [
{
“id”: 146,
“type”: “point”,
“data”: {
“lat”: 46.18483299780137,
“lng”: 9.418864745562386
},
“label”: 1
}
],
“zoom”: 13,
“source_type”: “OpenStreetMap”
}
A proposito della conversione “dal testo alla maschera” “zero shot”: LISA e SamGIS
La versione originale di SAM può utilizzare anche semplici prompt testuali in linguaggio naturale. Per un uso pratico di questa funzionalità, si veda:
Naturalmente potrebbe interessare anche il mio lavoro di integrazione di LISA con SamGIS e la corrispondente demo. Devo tenerlo in pausa a causa dei costi, ma sto richiedendo l’uso di una GPU gratuita da HuggingFace.
Nel caso il mio progetto fosse interessante, metti “mi piace” o commenta il thread di richiesta di risorse GPU di HuggingFace.
