Compare commits
33 Commits
| Author | SHA1 | Date | |
|---|---|---|---|
| 39208aadab | |||
| f8f6a15166 | |||
| 5bd8fca248 | |||
| 796ccb8052 | |||
| 0a8a9365bb | |||
| 9ed779637e | |||
| 077d44c3c8 | |||
| e038ee3a1d | |||
| 041b26e791 | |||
| 84b73dc651 | |||
| 8d8a89ac35 | |||
| 41976f574d | |||
| 4ef7a4a85f | |||
| 7de7f35b7c | |||
| 7b014b7f69 | |||
| 367ee9aaac | |||
| 74e5a45a39 | |||
| 11c5160385 | |||
| 07bab87cb9 | |||
| a247484f36 | |||
| e188df0adb | |||
| b35d47669c | |||
| fc3b0dbc3a | |||
| 6da4dd5329 | |||
| b143c6607a | |||
| 4419c237b2 | |||
| f00cf9b621 | |||
| 4b7271094b | |||
| 746d1668c6 | |||
| d9a40952c4 | |||
| 6db2086ead | |||
| 27a0ef1a45 | |||
| ba4024d252 |
+263
-9
@@ -110,6 +110,118 @@ if HAS_NUMBA:
|
|||||||
acc[y, x] *= inv
|
acc[y, x] *= inv
|
||||||
return acc
|
return acc
|
||||||
|
|
||||||
|
@nb.njit(cache=True, parallel=True, fastmath=True, boundscheck=False)
|
||||||
|
def _jit_score_bitmap_rescored_strided(
|
||||||
|
spread: np.ndarray,
|
||||||
|
dx: np.ndarray, dy: np.ndarray, bins: np.ndarray,
|
||||||
|
bit_active: np.uint8,
|
||||||
|
bg: np.ndarray,
|
||||||
|
stride: nb.int32,
|
||||||
|
) -> np.ndarray:
|
||||||
|
"""Variante con sub-sampling: valuta solo pixel su griglia stride×stride.
|
||||||
|
Score restituito ha stessa shape (H, W); celle non valutate = 0.
|
||||||
|
|
||||||
|
4× speed-up con stride=2 (NMS recupera precisione in full-res).
|
||||||
|
Numba prange richiede step costante: itero su indici griglia e
|
||||||
|
moltiplico per stride dentro il body.
|
||||||
|
"""
|
||||||
|
H, W = spread.shape
|
||||||
|
N = dx.shape[0]
|
||||||
|
acc = np.zeros((H, W), dtype=np.float32)
|
||||||
|
ny = (H + stride - 1) // stride
|
||||||
|
nx = (W + stride - 1) // stride
|
||||||
|
for yi in nb.prange(ny):
|
||||||
|
y = yi * stride
|
||||||
|
for i in range(N):
|
||||||
|
b = bins[i]
|
||||||
|
mask = np.uint8(1) << b
|
||||||
|
if (bit_active & mask) == 0:
|
||||||
|
continue
|
||||||
|
ddy = dy[i]
|
||||||
|
yy = y + ddy
|
||||||
|
if yy < 0 or yy >= H:
|
||||||
|
continue
|
||||||
|
ddx = dx[i]
|
||||||
|
x_lo = 0 if ddx >= 0 else -ddx
|
||||||
|
x_hi = W if ddx <= 0 else W - ddx
|
||||||
|
rem = x_lo % stride
|
||||||
|
if rem != 0:
|
||||||
|
x_lo += stride - rem
|
||||||
|
x = x_lo
|
||||||
|
while x < x_hi:
|
||||||
|
if spread[yy, x + ddx] & mask:
|
||||||
|
acc[y, x] += 1.0
|
||||||
|
x += stride
|
||||||
|
if N > 0:
|
||||||
|
inv = 1.0 / N
|
||||||
|
for yi in nb.prange(ny):
|
||||||
|
y = yi * stride
|
||||||
|
for xi in range(nx):
|
||||||
|
x = xi * stride
|
||||||
|
v = acc[y, x] * inv
|
||||||
|
bgv = bg[y, x]
|
||||||
|
if bgv < 1.0:
|
||||||
|
r = (v - bgv) / (1.0 - bgv + 1e-6)
|
||||||
|
acc[y, x] = r if r > 0.0 else 0.0
|
||||||
|
else:
|
||||||
|
acc[y, x] = 0.0
|
||||||
|
return acc
|
||||||
|
|
||||||
|
@nb.njit(cache=True, parallel=True, fastmath=True, boundscheck=False)
|
||||||
|
def _jit_score_bitmap_greedy(
|
||||||
|
spread: np.ndarray,
|
||||||
|
dx: np.ndarray, dy: np.ndarray, bins: np.ndarray,
|
||||||
|
bit_active: np.uint8,
|
||||||
|
min_score: nb.float32,
|
||||||
|
greediness: nb.float32,
|
||||||
|
) -> np.ndarray:
|
||||||
|
"""Score bitmap con early-exit greedy (no rescore background).
|
||||||
|
|
||||||
|
Per ogni pixel iteriamo le N feature; abortiamo non appena diventa
|
||||||
|
impossibile raggiungere `min_required` count anche aggiungendo
|
||||||
|
tutte le feature rimanenti. min_required = greediness * min_score * N.
|
||||||
|
|
||||||
|
greediness=0 → nessun early-exit (equivalente a kernel base).
|
||||||
|
greediness=1 → exit non appena hits + remaining < min_score * N.
|
||||||
|
Tipico: 0.7-0.9 → 2-4x speed-up senza perdere match.
|
||||||
|
"""
|
||||||
|
H, W = spread.shape
|
||||||
|
N = dx.shape[0]
|
||||||
|
acc = np.zeros((H, W), dtype=np.float32)
|
||||||
|
if N == 0:
|
||||||
|
return acc
|
||||||
|
min_req = greediness * min_score * N
|
||||||
|
inv_N = nb.float32(1.0 / N)
|
||||||
|
for y in nb.prange(H):
|
||||||
|
for x in range(W):
|
||||||
|
hits = 0
|
||||||
|
for i in range(N):
|
||||||
|
b = bins[i]
|
||||||
|
mask = np.uint8(1) << b
|
||||||
|
if (bit_active & mask) == 0:
|
||||||
|
if hits + (N - i - 1) < min_req:
|
||||||
|
break
|
||||||
|
continue
|
||||||
|
ddy = dy[i]
|
||||||
|
yy = y + ddy
|
||||||
|
if yy < 0 or yy >= H:
|
||||||
|
if hits + (N - i - 1) < min_req:
|
||||||
|
break
|
||||||
|
continue
|
||||||
|
ddx = dx[i]
|
||||||
|
xx = x + ddx
|
||||||
|
if xx < 0 or xx >= W:
|
||||||
|
if hits + (N - i - 1) < min_req:
|
||||||
|
break
|
||||||
|
continue
|
||||||
|
if spread[yy, xx] & mask:
|
||||||
|
hits += 1
|
||||||
|
else:
|
||||||
|
if hits + (N - i - 1) < min_req:
|
||||||
|
break
|
||||||
|
acc[y, x] = nb.float32(hits) * inv_N
|
||||||
|
return acc
|
||||||
|
|
||||||
@nb.njit(cache=True, parallel=True, fastmath=True, boundscheck=False)
|
@nb.njit(cache=True, parallel=True, fastmath=True, boundscheck=False)
|
||||||
def _jit_score_bitmap_rescored(
|
def _jit_score_bitmap_rescored(
|
||||||
spread: np.ndarray, # uint8 (H, W)
|
spread: np.ndarray, # uint8 (H, W)
|
||||||
@@ -216,6 +328,65 @@ if HAS_NUMBA:
|
|||||||
out[vi] = best if best > 0.0 else 0.0
|
out[vi] = best if best > 0.0 else 0.0
|
||||||
return out
|
return out
|
||||||
|
|
||||||
|
@nb.njit(cache=True, parallel=True, fastmath=True, boundscheck=False)
|
||||||
|
def _jit_score_bitmap_rescored_u16(
|
||||||
|
spread: np.ndarray, # uint16 (H, W) - 16 bit di polarity-aware
|
||||||
|
dx: np.ndarray, dy: np.ndarray, bins: np.ndarray,
|
||||||
|
bit_active: np.uint16,
|
||||||
|
bg: np.ndarray,
|
||||||
|
) -> np.ndarray:
|
||||||
|
"""Versione uint16 di _jit_score_bitmap_rescored per polarity 16-bin.
|
||||||
|
|
||||||
|
Identica logica ma mask = uint16(1) << b dove b in [0..15]
|
||||||
|
(orientamento mod 2π invece di mod π).
|
||||||
|
"""
|
||||||
|
H, W = spread.shape
|
||||||
|
N = dx.shape[0]
|
||||||
|
acc = np.zeros((H, W), dtype=np.float32)
|
||||||
|
for y in nb.prange(H):
|
||||||
|
for i in range(N):
|
||||||
|
b = bins[i]
|
||||||
|
mask = np.uint16(1) << b
|
||||||
|
if (bit_active & mask) == 0:
|
||||||
|
continue
|
||||||
|
ddy = dy[i]
|
||||||
|
yy = y + ddy
|
||||||
|
if yy < 0 or yy >= H:
|
||||||
|
continue
|
||||||
|
ddx = dx[i]
|
||||||
|
x_lo = 0 if ddx >= 0 else -ddx
|
||||||
|
x_hi = W if ddx <= 0 else W - ddx
|
||||||
|
for x in range(x_lo, x_hi):
|
||||||
|
if spread[yy, x + ddx] & mask:
|
||||||
|
acc[y, x] += 1.0
|
||||||
|
if N > 0:
|
||||||
|
inv = 1.0 / N
|
||||||
|
for y in nb.prange(H):
|
||||||
|
for x in range(W):
|
||||||
|
v = acc[y, x] * inv
|
||||||
|
bgv = bg[y, x]
|
||||||
|
if bgv < 1.0:
|
||||||
|
r = (v - bgv) / (1.0 - bgv + 1e-6)
|
||||||
|
acc[y, x] = r if r > 0.0 else 0.0
|
||||||
|
else:
|
||||||
|
acc[y, x] = 0.0
|
||||||
|
return acc
|
||||||
|
|
||||||
|
@nb.njit(cache=True, parallel=True, fastmath=True, boundscheck=False)
|
||||||
|
def _jit_popcount_density_u16(spread: np.ndarray) -> np.ndarray:
|
||||||
|
"""Popcount per uint16 (16 bin polarity)."""
|
||||||
|
H, W = spread.shape
|
||||||
|
out = np.zeros((H, W), dtype=np.float32)
|
||||||
|
for y in nb.prange(H):
|
||||||
|
for x in range(W):
|
||||||
|
v = spread[y, x]
|
||||||
|
cnt = 0
|
||||||
|
for b in range(16):
|
||||||
|
if v & (np.uint16(1) << b):
|
||||||
|
cnt += 1
|
||||||
|
out[y, x] = float(cnt)
|
||||||
|
return out
|
||||||
|
|
||||||
@nb.njit(cache=True, parallel=True, fastmath=True, boundscheck=False)
|
@nb.njit(cache=True, parallel=True, fastmath=True, boundscheck=False)
|
||||||
def _jit_popcount_density(spread: np.ndarray) -> np.ndarray:
|
def _jit_popcount_density(spread: np.ndarray) -> np.ndarray:
|
||||||
"""Conta bit set per pixel: ritorna (H, W) float32 in [0..8]."""
|
"""Conta bit set per pixel: ritorna (H, W) float32 in [0..8]."""
|
||||||
@@ -242,6 +413,13 @@ if HAS_NUMBA:
|
|||||||
_jit_score_bitmap(spread, dx, dy, b, np.uint8(0xFF))
|
_jit_score_bitmap(spread, dx, dy, b, np.uint8(0xFF))
|
||||||
bg = np.zeros((32, 32), dtype=np.float32)
|
bg = np.zeros((32, 32), dtype=np.float32)
|
||||||
_jit_score_bitmap_rescored(spread, dx, dy, b, np.uint8(0xFF), bg)
|
_jit_score_bitmap_rescored(spread, dx, dy, b, np.uint8(0xFF), bg)
|
||||||
|
_jit_score_bitmap_rescored_strided(
|
||||||
|
spread, dx, dy, b, np.uint8(0xFF), bg, np.int32(2),
|
||||||
|
)
|
||||||
|
_jit_score_bitmap_greedy(
|
||||||
|
spread, dx, dy, b, np.uint8(0xFF),
|
||||||
|
np.float32(0.5), np.float32(0.8),
|
||||||
|
)
|
||||||
offsets = np.array([0, 1], dtype=np.int32)
|
offsets = np.array([0, 1], dtype=np.int32)
|
||||||
scale_idx = np.zeros(1, dtype=np.int32)
|
scale_idx = np.zeros(1, dtype=np.int32)
|
||||||
bg_pv = np.zeros((1, 32, 32), dtype=np.float32)
|
bg_pv = np.zeros((1, 32, 32), dtype=np.float32)
|
||||||
@@ -249,6 +427,11 @@ if HAS_NUMBA:
|
|||||||
spread, dx, dy, b, offsets, np.uint8(0xFF), bg_pv, scale_idx,
|
spread, dx, dy, b, offsets, np.uint8(0xFF), bg_pv, scale_idx,
|
||||||
)
|
)
|
||||||
_jit_popcount_density(spread)
|
_jit_popcount_density(spread)
|
||||||
|
spread16 = np.zeros((32, 32), dtype=np.uint16)
|
||||||
|
_jit_score_bitmap_rescored_u16(
|
||||||
|
spread16, dx, dy, b, np.uint16(0xFFFF), bg,
|
||||||
|
)
|
||||||
|
_jit_popcount_density_u16(spread16)
|
||||||
|
|
||||||
else: # pragma: no cover
|
else: # pragma: no cover
|
||||||
|
|
||||||
@@ -261,12 +444,24 @@ else: # pragma: no cover
|
|||||||
def _jit_score_bitmap_rescored(spread, dx, dy, bins, bit_active, bg):
|
def _jit_score_bitmap_rescored(spread, dx, dy, bins, bit_active, bg):
|
||||||
raise RuntimeError("numba non disponibile")
|
raise RuntimeError("numba non disponibile")
|
||||||
|
|
||||||
|
def _jit_score_bitmap_rescored_strided(spread, dx, dy, bins, bit_active, bg, stride):
|
||||||
|
raise RuntimeError("numba non disponibile")
|
||||||
|
|
||||||
|
def _jit_score_bitmap_greedy(spread, dx, dy, bins, bit_active, min_score, greediness):
|
||||||
|
raise RuntimeError("numba non disponibile")
|
||||||
|
|
||||||
def _jit_top_max_per_variant(
|
def _jit_top_max_per_variant(
|
||||||
spread, dx_flat, dy_flat, bins_flat, offsets, bit_active,
|
spread, dx_flat, dy_flat, bins_flat, offsets, bit_active,
|
||||||
bg_per_variant, scale_idx,
|
bg_per_variant, scale_idx,
|
||||||
):
|
):
|
||||||
raise RuntimeError("numba non disponibile")
|
raise RuntimeError("numba non disponibile")
|
||||||
|
|
||||||
|
def _jit_score_bitmap_rescored_u16(spread, dx, dy, bins, bit_active, bg):
|
||||||
|
raise RuntimeError("numba non disponibile")
|
||||||
|
|
||||||
|
def _jit_popcount_density_u16(spread):
|
||||||
|
raise RuntimeError("numba non disponibile")
|
||||||
|
|
||||||
def _jit_popcount_density(spread):
|
def _jit_popcount_density(spread):
|
||||||
raise RuntimeError("numba non disponibile")
|
raise RuntimeError("numba non disponibile")
|
||||||
|
|
||||||
@@ -297,22 +492,58 @@ def score_bitmap(
|
|||||||
|
|
||||||
def score_bitmap_rescored(
|
def score_bitmap_rescored(
|
||||||
spread: np.ndarray, dx: np.ndarray, dy: np.ndarray, bins: np.ndarray,
|
spread: np.ndarray, dx: np.ndarray, dy: np.ndarray, bins: np.ndarray,
|
||||||
bit_active: int, bg: np.ndarray,
|
bit_active: int, bg: np.ndarray, stride: int = 1,
|
||||||
) -> np.ndarray:
|
) -> np.ndarray:
|
||||||
"""Score bitmap + rescore fusi in un solo pass (JIT)."""
|
"""Score bitmap + rescore fusi in un solo pass (JIT).
|
||||||
|
|
||||||
|
Dispatch per dtype: uint16 → kernel polarity 16-bin, uint8 → kernel
|
||||||
|
standard 8-bin (con eventuale stride > 1 per coarse top-level).
|
||||||
|
"""
|
||||||
if HAS_NUMBA and len(dx) > 0:
|
if HAS_NUMBA and len(dx) > 0:
|
||||||
|
dx_c = np.ascontiguousarray(dx, dtype=np.int32)
|
||||||
|
dy_c = np.ascontiguousarray(dy, dtype=np.int32)
|
||||||
|
bins_c = np.ascontiguousarray(bins, dtype=np.int8)
|
||||||
|
bg_c = np.ascontiguousarray(bg, dtype=np.float32)
|
||||||
|
if spread.dtype == np.uint16:
|
||||||
|
spread_c = np.ascontiguousarray(spread, dtype=np.uint16)
|
||||||
|
return _jit_score_bitmap_rescored_u16(
|
||||||
|
spread_c, dx_c, dy_c, bins_c, np.uint16(bit_active), bg_c,
|
||||||
|
)
|
||||||
|
spread_c = np.ascontiguousarray(spread, dtype=np.uint8)
|
||||||
|
if stride > 1:
|
||||||
|
return _jit_score_bitmap_rescored_strided(
|
||||||
|
spread_c, dx_c, dy_c, bins_c, np.uint8(bit_active), bg_c,
|
||||||
|
np.int32(stride),
|
||||||
|
)
|
||||||
return _jit_score_bitmap_rescored(
|
return _jit_score_bitmap_rescored(
|
||||||
|
spread_c, dx_c, dy_c, bins_c, np.uint8(bit_active), bg_c,
|
||||||
|
)
|
||||||
|
# Fallback: chiamate separate (stride ignorato in fallback)
|
||||||
|
score = score_bitmap(spread, dx, dy, bins, bit_active)
|
||||||
|
out = (score - bg) / (1.0 - bg + 1e-6)
|
||||||
|
return np.maximum(0.0, out).astype(np.float32)
|
||||||
|
|
||||||
|
|
||||||
|
def score_bitmap_greedy(
|
||||||
|
spread: np.ndarray, dx: np.ndarray, dy: np.ndarray, bins: np.ndarray,
|
||||||
|
bit_active: int, min_score: float, greediness: float,
|
||||||
|
) -> np.ndarray:
|
||||||
|
"""Score bitmap con early-exit greedy. Per coarse-pass aggressivo.
|
||||||
|
|
||||||
|
Non applica rescore background: usare quando la scena ha basso clutter
|
||||||
|
o quando si vuole mass-prune varianti via top-level rapidamente.
|
||||||
|
"""
|
||||||
|
if HAS_NUMBA and len(dx) > 0:
|
||||||
|
return _jit_score_bitmap_greedy(
|
||||||
np.ascontiguousarray(spread, dtype=np.uint8),
|
np.ascontiguousarray(spread, dtype=np.uint8),
|
||||||
np.ascontiguousarray(dx, dtype=np.int32),
|
np.ascontiguousarray(dx, dtype=np.int32),
|
||||||
np.ascontiguousarray(dy, dtype=np.int32),
|
np.ascontiguousarray(dy, dtype=np.int32),
|
||||||
np.ascontiguousarray(bins, dtype=np.int8),
|
np.ascontiguousarray(bins, dtype=np.int8),
|
||||||
np.uint8(bit_active),
|
np.uint8(bit_active),
|
||||||
np.ascontiguousarray(bg, dtype=np.float32),
|
np.float32(min_score), np.float32(greediness),
|
||||||
)
|
)
|
||||||
# Fallback: chiamate separate
|
# Fallback: kernel base senza early-exit
|
||||||
score = score_bitmap(spread, dx, dy, bins, bit_active)
|
return score_bitmap(spread, dx, dy, bins, bit_active)
|
||||||
out = (score - bg) / (1.0 - bg + 1e-6)
|
|
||||||
return np.maximum(0.0, out).astype(np.float32)
|
|
||||||
|
|
||||||
|
|
||||||
def top_max_per_variant(
|
def top_max_per_variant(
|
||||||
@@ -360,10 +591,33 @@ def top_max_per_variant(
|
|||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
|
_HAS_NP_BITCOUNT = hasattr(np, "bitwise_count")
|
||||||
|
|
||||||
|
|
||||||
def popcount_density(spread: np.ndarray) -> np.ndarray:
|
def popcount_density(spread: np.ndarray) -> np.ndarray:
|
||||||
|
"""Conta bit set per pixel.
|
||||||
|
|
||||||
|
Order:
|
||||||
|
1) Numba JIT parallel (preferito: piu veloce su 1080p, 0.5ms vs 1.6ms)
|
||||||
|
2) numpy.bitwise_count (NumPy 2.0+, SIMD ma single-thread)
|
||||||
|
3) Fallback numpy bit-shift puro
|
||||||
|
"""
|
||||||
|
if spread.dtype == np.uint16:
|
||||||
|
spread_c = np.ascontiguousarray(spread, dtype=np.uint16)
|
||||||
|
if HAS_NUMBA:
|
||||||
|
return _jit_popcount_density_u16(spread_c)
|
||||||
|
if _HAS_NP_BITCOUNT:
|
||||||
|
return np.bitwise_count(spread_c).astype(np.float32, copy=False)
|
||||||
|
H, W = spread_c.shape
|
||||||
|
out = np.zeros((H, W), dtype=np.float32)
|
||||||
|
for b in range(16):
|
||||||
|
out += ((spread_c >> b) & 1).astype(np.float32)
|
||||||
|
return out
|
||||||
|
spread_c = np.ascontiguousarray(spread, dtype=np.uint8)
|
||||||
if HAS_NUMBA:
|
if HAS_NUMBA:
|
||||||
return _jit_popcount_density(np.ascontiguousarray(spread, dtype=np.uint8))
|
return _jit_popcount_density(spread_c)
|
||||||
# Fallback
|
if _HAS_NP_BITCOUNT:
|
||||||
|
return np.bitwise_count(spread_c).astype(np.float32, copy=False)
|
||||||
H, W = spread.shape
|
H, W = spread.shape
|
||||||
out = np.zeros((H, W), dtype=np.float32)
|
out = np.zeros((H, W), dtype=np.float32)
|
||||||
for b in range(8):
|
for b in range(8):
|
||||||
|
|||||||
+27
-6
@@ -152,14 +152,27 @@ def _cache_key(template_bgr: np.ndarray, mask: np.ndarray | None) -> str:
|
|||||||
return h.hexdigest()
|
return h.hexdigest()
|
||||||
|
|
||||||
|
|
||||||
def auto_tune(template_bgr: np.ndarray, mask: np.ndarray | None = None) -> dict:
|
def auto_tune(
|
||||||
|
template_bgr: np.ndarray,
|
||||||
|
mask: np.ndarray | None = None,
|
||||||
|
angle_tolerance_deg: float | None = None,
|
||||||
|
angle_center_deg: float = 0.0,
|
||||||
|
) -> dict:
|
||||||
"""Analizza template e ritorna dict parametri suggeriti.
|
"""Analizza template e ritorna dict parametri suggeriti.
|
||||||
|
|
||||||
Chiavi compatibili con edit_params PARAM_SCHEMA.
|
Chiavi compatibili con edit_params PARAM_SCHEMA.
|
||||||
|
|
||||||
|
angle_tolerance_deg: se != None, restringe angle_range a
|
||||||
|
(center - tol, center + tol). Usare quando l'orientamento del
|
||||||
|
pezzo e' noto a priori (feeder con guida, posizionamento
|
||||||
|
meccanico): training molto piu rapido (24x meno varianti per
|
||||||
|
tol=15° vs 360° pieno).
|
||||||
|
|
||||||
Risultato cachato in-memory (LRU): ri-chiamare con stessa ROI è O(1).
|
Risultato cachato in-memory (LRU): ri-chiamare con stessa ROI è O(1).
|
||||||
"""
|
"""
|
||||||
ck = _cache_key(template_bgr, mask)
|
ck = _cache_key(template_bgr, mask)
|
||||||
|
if angle_tolerance_deg is not None:
|
||||||
|
ck = f"{ck}|tol={angle_tolerance_deg}|c={angle_center_deg}"
|
||||||
cached = _TUNE_CACHE.get(ck)
|
cached = _TUNE_CACHE.get(ck)
|
||||||
if cached is not None:
|
if cached is not None:
|
||||||
_TUNE_CACHE.move_to_end(ck)
|
_TUNE_CACHE.move_to_end(ck)
|
||||||
@@ -208,8 +221,13 @@ def auto_tune(template_bgr: np.ndarray, mask: np.ndarray | None = None) -> dict:
|
|||||||
# spread_radius proporzionale a risoluzione + pyramid (tolleranza ~1% dim)
|
# spread_radius proporzionale a risoluzione + pyramid (tolleranza ~1% dim)
|
||||||
spread_radius = int(np.clip(max(3, min_side * 0.02), 3, 8))
|
spread_radius = int(np.clip(max(3, min_side * 0.02), 3, 8))
|
||||||
|
|
||||||
# angle range ridotto se simmetria rotazionale
|
# angle range: priorita' a tolerance hint utente, poi simmetria rotazionale.
|
||||||
angle_max = 360.0 / sym["order"] if sym["order"] > 1 else 360.0
|
if angle_tolerance_deg is not None:
|
||||||
|
angle_min = float(angle_center_deg - angle_tolerance_deg)
|
||||||
|
angle_max = float(angle_center_deg + angle_tolerance_deg)
|
||||||
|
else:
|
||||||
|
angle_min = 0.0
|
||||||
|
angle_max = 360.0 / sym["order"] if sym["order"] > 1 else 360.0
|
||||||
|
|
||||||
# min_score: se entropia orient alta → template distintivo → soglia alta ok
|
# min_score: se entropia orient alta → template distintivo → soglia alta ok
|
||||||
# se entropia bassa → template ambiguo → soglia più permissiva
|
# se entropia bassa → template ambiguo → soglia più permissiva
|
||||||
@@ -220,12 +238,15 @@ def auto_tune(template_bgr: np.ndarray, mask: np.ndarray | None = None) -> dict:
|
|||||||
else:
|
else:
|
||||||
min_score = 0.45
|
min_score = 0.45
|
||||||
|
|
||||||
# angle step: 5° default; se simmetria, mantengo step ma range ridotto
|
# angle step adattivo (Halcon-style): atan(2/max_side) deg, clampato.
|
||||||
angle_step = 5.0
|
# Template grande → step fine (rotazione minima visibile su perimetro).
|
||||||
|
# Template piccolo → step grosso (over-sampling = sprecato).
|
||||||
|
max_side = max(h, w)
|
||||||
|
angle_step = float(np.clip(np.degrees(np.arctan2(2.0, max_side)), 1.0, 8.0))
|
||||||
|
|
||||||
result = {
|
result = {
|
||||||
"backend": "line",
|
"backend": "line",
|
||||||
"angle_min": 0.0,
|
"angle_min": angle_min,
|
||||||
"angle_max": angle_max,
|
"angle_max": angle_max,
|
||||||
"angle_step": angle_step,
|
"angle_step": angle_step,
|
||||||
"scale_min": 1.0,
|
"scale_min": 1.0,
|
||||||
|
|||||||
+569
-52
@@ -40,12 +40,35 @@ from pm2d._jit_kernels import (
|
|||||||
score_by_shift as _jit_score_by_shift,
|
score_by_shift as _jit_score_by_shift,
|
||||||
score_bitmap as _jit_score_bitmap,
|
score_bitmap as _jit_score_bitmap,
|
||||||
score_bitmap_rescored as _jit_score_bitmap_rescored,
|
score_bitmap_rescored as _jit_score_bitmap_rescored,
|
||||||
|
score_bitmap_greedy as _jit_score_bitmap_greedy,
|
||||||
top_max_per_variant as _jit_top_max_per_variant,
|
top_max_per_variant as _jit_top_max_per_variant,
|
||||||
popcount_density as _jit_popcount,
|
popcount_density as _jit_popcount,
|
||||||
HAS_NUMBA,
|
HAS_NUMBA,
|
||||||
)
|
)
|
||||||
|
|
||||||
N_BINS = 8 # orientamenti quantizzati modulo π
|
N_BINS = 8 # default: orientamento mod π (no polarity)
|
||||||
|
N_BINS_POL = 16 # use_polarity=True: orientamento mod 2π (con polarity)
|
||||||
|
|
||||||
|
|
||||||
|
def _poly_iou(p1: np.ndarray, p2: np.ndarray) -> float:
|
||||||
|
"""IoU tra due poligoni convessi (4 vertici, float32) via cv2.intersectConvexConvex.
|
||||||
|
|
||||||
|
Usa OpenCV (cv2.intersectConvexConvex) per intersezione esatta:
|
||||||
|
ritorna area intersezione / area unione. Robusto a rotazioni
|
||||||
|
qualsiasi (anti-orarie/orarie) - cv2 normalizza orientamento.
|
||||||
|
"""
|
||||||
|
a1 = float(cv2.contourArea(p1))
|
||||||
|
a2 = float(cv2.contourArea(p2))
|
||||||
|
if a1 <= 0 or a2 <= 0:
|
||||||
|
return 0.0
|
||||||
|
inter_area, _ = cv2.intersectConvexConvex(
|
||||||
|
p1.astype(np.float32), p2.astype(np.float32),
|
||||||
|
)
|
||||||
|
inter_area = float(inter_area)
|
||||||
|
if inter_area <= 0:
|
||||||
|
return 0.0
|
||||||
|
union = a1 + a2 - inter_area
|
||||||
|
return inter_area / union if union > 0 else 0.0
|
||||||
|
|
||||||
|
|
||||||
def _oriented_bbox_polygon(
|
def _oriented_bbox_polygon(
|
||||||
@@ -121,6 +144,7 @@ class LineShapeMatcher:
|
|||||||
pyramid_levels: int = 2,
|
pyramid_levels: int = 2,
|
||||||
top_score_factor: float = 0.5,
|
top_score_factor: float = 0.5,
|
||||||
n_threads: int | None = None,
|
n_threads: int | None = None,
|
||||||
|
use_polarity: bool = False,
|
||||||
) -> None:
|
) -> None:
|
||||||
self.num_features = num_features
|
self.num_features = num_features
|
||||||
self.weak_grad = weak_grad
|
self.weak_grad = weak_grad
|
||||||
@@ -134,6 +158,12 @@ class LineShapeMatcher:
|
|||||||
self.pyramid_levels = max(1, pyramid_levels)
|
self.pyramid_levels = max(1, pyramid_levels)
|
||||||
self.top_score_factor = top_score_factor
|
self.top_score_factor = top_score_factor
|
||||||
self.n_threads = n_threads or max(1, (os.cpu_count() or 2) - 1)
|
self.n_threads = n_threads or max(1, (os.cpu_count() or 2) - 1)
|
||||||
|
# Polarity-aware: 16 bin (orientamento mod 2π) usando bitmap uint16.
|
||||||
|
# Distingue edge "chiaro→scuro" da "scuro→chiaro" → 2x selettività.
|
||||||
|
# Usare quando background di scena varia (chiaro/scuro) e orientamento
|
||||||
|
# template e' direzionale.
|
||||||
|
self.use_polarity = use_polarity
|
||||||
|
self._n_bins = N_BINS_POL if use_polarity else N_BINS
|
||||||
|
|
||||||
self.variants: list[_Variant] = []
|
self.variants: list[_Variant] = []
|
||||||
self.template_size: tuple[int, int] = (0, 0)
|
self.template_size: tuple[int, int] = (0, 0)
|
||||||
@@ -149,15 +179,20 @@ class LineShapeMatcher:
|
|||||||
return cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
|
return cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
|
||||||
return img
|
return img
|
||||||
|
|
||||||
@staticmethod
|
def _gradient(self, gray: np.ndarray) -> tuple[np.ndarray, np.ndarray]:
|
||||||
def _gradient(gray: np.ndarray) -> tuple[np.ndarray, np.ndarray]:
|
|
||||||
gx = cv2.Sobel(gray, cv2.CV_32F, 1, 0, ksize=3)
|
gx = cv2.Sobel(gray, cv2.CV_32F, 1, 0, ksize=3)
|
||||||
gy = cv2.Sobel(gray, cv2.CV_32F, 0, 1, ksize=3)
|
gy = cv2.Sobel(gray, cv2.CV_32F, 0, 1, ksize=3)
|
||||||
mag = cv2.magnitude(gx, gy)
|
mag = cv2.magnitude(gx, gy)
|
||||||
ang = np.arctan2(gy, gx)
|
ang = np.arctan2(gy, gx) # [-π, π]
|
||||||
ang_mod = np.where(ang < 0, ang + np.pi, ang)
|
if self.use_polarity:
|
||||||
bins = np.floor(ang_mod / np.pi * N_BINS).astype(np.int16)
|
# Mod 2π: bin 0..15 codifica direzione + polarity edge.
|
||||||
bins = np.clip(bins, 0, N_BINS - 1)
|
ang_full = np.where(ang < 0, ang + 2.0 * np.pi, ang)
|
||||||
|
bins = np.floor(ang_full / (2.0 * np.pi) * N_BINS_POL).astype(np.int16)
|
||||||
|
bins = np.clip(bins, 0, N_BINS_POL - 1)
|
||||||
|
else:
|
||||||
|
ang_mod = np.where(ang < 0, ang + np.pi, ang)
|
||||||
|
bins = np.floor(ang_mod / np.pi * N_BINS).astype(np.int16)
|
||||||
|
bins = np.clip(bins, 0, N_BINS - 1)
|
||||||
return mag, bins
|
return mag, bins
|
||||||
|
|
||||||
def _extract_features(
|
def _extract_features(
|
||||||
@@ -191,6 +226,140 @@ class LineShapeMatcher:
|
|||||||
np.array(picked_y, np.int32),
|
np.array(picked_y, np.int32),
|
||||||
np.array(picked_b, np.int8))
|
np.array(picked_b, np.int8))
|
||||||
|
|
||||||
|
# --- Save / Load (Halcon-style write_shape_model / read_shape_model)
|
||||||
|
|
||||||
|
def save_model(self, path: str) -> None:
|
||||||
|
"""Salva matcher addestrato su disco (formato .npz).
|
||||||
|
|
||||||
|
Persiste: parametri, template_gray, mask, e tutte le varianti
|
||||||
|
pre-computate (con piramide). Halcon-equivalent write_shape_model.
|
||||||
|
Caso d'uso: training offline su workstation, deploy su macchina
|
||||||
|
di linea senza re-train (zero secondi di startup matching).
|
||||||
|
"""
|
||||||
|
if not self.variants:
|
||||||
|
raise RuntimeError("Modello non addestrato: chiamare train() prima.")
|
||||||
|
# Flatten varianti in array piatti (npz non ama dataclass nested)
|
||||||
|
n_vars = len(self.variants)
|
||||||
|
n_levels = len(self.variants[0].levels)
|
||||||
|
var_meta = np.zeros((n_vars, 6), dtype=np.float32) # ang, scale, kh, kw, cxl, cyl
|
||||||
|
all_dx, all_dy, all_bin, all_offsets = [], [], [], []
|
||||||
|
offset = 0
|
||||||
|
all_offsets_per_level = [[] for _ in range(n_levels)]
|
||||||
|
all_dx_per_level = [[] for _ in range(n_levels)]
|
||||||
|
all_dy_per_level = [[] for _ in range(n_levels)]
|
||||||
|
all_bin_per_level = [[] for _ in range(n_levels)]
|
||||||
|
for vi, var in enumerate(self.variants):
|
||||||
|
var_meta[vi] = (
|
||||||
|
var.angle_deg, var.scale, var.kh, var.kw,
|
||||||
|
var.cx_local, var.cy_local,
|
||||||
|
)
|
||||||
|
for li, lvl in enumerate(var.levels):
|
||||||
|
all_offsets_per_level[li].append(len(all_dx_per_level[li]))
|
||||||
|
all_dx_per_level[li].extend(lvl.dx.tolist())
|
||||||
|
all_dy_per_level[li].extend(lvl.dy.tolist())
|
||||||
|
all_bin_per_level[li].extend(lvl.bin.tolist())
|
||||||
|
for li in range(n_levels):
|
||||||
|
all_offsets_per_level[li].append(len(all_dx_per_level[li]))
|
||||||
|
|
||||||
|
out = {
|
||||||
|
"_format_version": np.array([1], dtype=np.int32),
|
||||||
|
"params": np.array([
|
||||||
|
self.num_features, self.weak_grad, self.strong_grad,
|
||||||
|
self.angle_range_deg[0], self.angle_range_deg[1],
|
||||||
|
self.angle_step_deg,
|
||||||
|
self.scale_range[0], self.scale_range[1], self.scale_step,
|
||||||
|
self.spread_radius, self.min_feature_spacing,
|
||||||
|
self.pyramid_levels, self.top_score_factor,
|
||||||
|
int(self.use_polarity),
|
||||||
|
], dtype=np.float64),
|
||||||
|
"template_gray": self.template_gray,
|
||||||
|
"train_mask": self._train_mask,
|
||||||
|
"var_meta": var_meta,
|
||||||
|
"n_levels": np.array([n_levels], dtype=np.int32),
|
||||||
|
}
|
||||||
|
for li in range(n_levels):
|
||||||
|
out[f"dx_l{li}"] = np.asarray(all_dx_per_level[li], dtype=np.int32)
|
||||||
|
out[f"dy_l{li}"] = np.asarray(all_dy_per_level[li], dtype=np.int32)
|
||||||
|
out[f"bin_l{li}"] = np.asarray(all_bin_per_level[li], dtype=np.int8)
|
||||||
|
out[f"offsets_l{li}"] = np.asarray(all_offsets_per_level[li], dtype=np.int32)
|
||||||
|
np.savez_compressed(path, **out)
|
||||||
|
|
||||||
|
@classmethod
|
||||||
|
def load_model(cls, path: str) -> "LineShapeMatcher":
|
||||||
|
"""Carica matcher pre-addestrato da .npz salvato con save_model.
|
||||||
|
|
||||||
|
Halcon-equivalent read_shape_model. Bypassa completamente train():
|
||||||
|
deploy production = istantaneo.
|
||||||
|
"""
|
||||||
|
data = np.load(path, allow_pickle=False)
|
||||||
|
params = data["params"]
|
||||||
|
m = cls(
|
||||||
|
num_features=int(params[0]),
|
||||||
|
weak_grad=float(params[1]),
|
||||||
|
strong_grad=float(params[2]),
|
||||||
|
angle_range_deg=(float(params[3]), float(params[4])),
|
||||||
|
angle_step_deg=float(params[5]),
|
||||||
|
scale_range=(float(params[6]), float(params[7])),
|
||||||
|
scale_step=float(params[8]),
|
||||||
|
spread_radius=int(params[9]),
|
||||||
|
min_feature_spacing=int(params[10]),
|
||||||
|
pyramid_levels=int(params[11]),
|
||||||
|
top_score_factor=float(params[12]),
|
||||||
|
use_polarity=bool(int(params[13])),
|
||||||
|
)
|
||||||
|
tpl = data["template_gray"]
|
||||||
|
if tpl.ndim > 0 and tpl.size > 0:
|
||||||
|
m.template_gray = tpl
|
||||||
|
m.template_size = (tpl.shape[1], tpl.shape[0])
|
||||||
|
mk = data["train_mask"]
|
||||||
|
m._train_mask = mk if mk.size > 0 else None
|
||||||
|
var_meta = data["var_meta"]
|
||||||
|
n_levels = int(data["n_levels"][0])
|
||||||
|
offsets_l = [data[f"offsets_l{li}"] for li in range(n_levels)]
|
||||||
|
dx_l = [data[f"dx_l{li}"] for li in range(n_levels)]
|
||||||
|
dy_l = [data[f"dy_l{li}"] for li in range(n_levels)]
|
||||||
|
bin_l = [data[f"bin_l{li}"] for li in range(n_levels)]
|
||||||
|
m.variants = []
|
||||||
|
n_vars = var_meta.shape[0]
|
||||||
|
for vi in range(n_vars):
|
||||||
|
ang, scale, kh, kw, cxl, cyl = var_meta[vi]
|
||||||
|
levels = []
|
||||||
|
for li in range(n_levels):
|
||||||
|
i0 = int(offsets_l[li][vi])
|
||||||
|
i1 = int(offsets_l[li][vi + 1])
|
||||||
|
levels.append(_LevelFeatures(
|
||||||
|
dx=dx_l[li][i0:i1].copy(),
|
||||||
|
dy=dy_l[li][i0:i1].copy(),
|
||||||
|
bin=bin_l[li][i0:i1].copy(),
|
||||||
|
n=i1 - i0,
|
||||||
|
))
|
||||||
|
m.variants.append(_Variant(
|
||||||
|
angle_deg=float(ang), scale=float(scale),
|
||||||
|
levels=levels, kh=int(kh), kw=int(kw),
|
||||||
|
cx_local=float(cxl), cy_local=float(cyl),
|
||||||
|
))
|
||||||
|
return m
|
||||||
|
|
||||||
|
def set_angle_range_around(
|
||||||
|
self, center_deg: float, tolerance_deg: float,
|
||||||
|
) -> None:
|
||||||
|
"""Restringe angle_range a (center - tol, center + tol).
|
||||||
|
|
||||||
|
Comodo helper per scenari in cui l'orientamento del pezzo e'
|
||||||
|
noto a priori entro ±tolerance_deg (es. feeder vibrante con
|
||||||
|
guida meccanica). Riduce drasticamente le varianti generate
|
||||||
|
in train(): es. ±15° vs 360° = 24x meno varianti, training
|
||||||
|
e matching molto piu veloci.
|
||||||
|
|
||||||
|
Esempio:
|
||||||
|
m.set_angle_range_around(0, 20) # cerca solo in [-20, +20]
|
||||||
|
m.train(template)
|
||||||
|
"""
|
||||||
|
self.angle_range_deg = (
|
||||||
|
float(center_deg - tolerance_deg),
|
||||||
|
float(center_deg + tolerance_deg),
|
||||||
|
)
|
||||||
|
|
||||||
def _scale_list(self) -> list[float]:
|
def _scale_list(self) -> list[float]:
|
||||||
s0, s1 = self.scale_range
|
s0, s1 = self.scale_range
|
||||||
if s0 >= s1 or self.scale_step <= 0:
|
if s0 >= s1 or self.scale_step <= 0:
|
||||||
@@ -198,12 +367,31 @@ class LineShapeMatcher:
|
|||||||
n = int(np.floor((s1 - s0) / self.scale_step)) + 1
|
n = int(np.floor((s1 - s0) / self.scale_step)) + 1
|
||||||
return [float(s0 + i * self.scale_step) for i in range(n)]
|
return [float(s0 + i * self.scale_step) for i in range(n)]
|
||||||
|
|
||||||
|
def _auto_angle_step(self) -> float:
|
||||||
|
"""Step angolare derivato da dimensione template (Halcon-style).
|
||||||
|
|
||||||
|
Formula: step ≈ atan(2 / max_side) gradi. Garantisce che la
|
||||||
|
rotazione minima produca uno spostamento di ≥2 px sul perimetro
|
||||||
|
del template (sotto sample il matching coarse perde candidati).
|
||||||
|
Clampato in [0.5°, 10°].
|
||||||
|
"""
|
||||||
|
max_side = max(self.template_size) if self.template_size != (0, 0) else 64
|
||||||
|
step = math.degrees(math.atan2(2.0, float(max_side)))
|
||||||
|
return float(np.clip(step, 0.5, 10.0))
|
||||||
|
|
||||||
|
def _effective_angle_step(self) -> float:
|
||||||
|
"""Risolve angle_step_deg gestendo modalità auto (<=0)."""
|
||||||
|
if self.angle_step_deg <= 0:
|
||||||
|
return self._auto_angle_step()
|
||||||
|
return self.angle_step_deg
|
||||||
|
|
||||||
def _angle_list(self) -> list[float]:
|
def _angle_list(self) -> list[float]:
|
||||||
a0, a1 = self.angle_range_deg
|
a0, a1 = self.angle_range_deg
|
||||||
if self.angle_step_deg <= 0 or a0 >= a1:
|
step = self._effective_angle_step()
|
||||||
|
if step <= 0 or a0 >= a1:
|
||||||
return [float(a0)]
|
return [float(a0)]
|
||||||
n = int(np.floor((a1 - a0) / self.angle_step_deg))
|
n = int(np.floor((a1 - a0) / step))
|
||||||
return [float(a0 + i * self.angle_step_deg) for i in range(n)]
|
return [float(a0 + i * step) for i in range(n)]
|
||||||
|
|
||||||
# --- Training ------------------------------------------------------
|
# --- Training ------------------------------------------------------
|
||||||
|
|
||||||
@@ -240,6 +428,8 @@ class LineShapeMatcher:
|
|||||||
self._train_mask = mask_full.copy()
|
self._train_mask = mask_full.copy()
|
||||||
|
|
||||||
self.variants.clear()
|
self.variants.clear()
|
||||||
|
# Invalida cache feature di refine: il template e cambiato.
|
||||||
|
self._refine_feat_cache = {}
|
||||||
for s in self._scale_list():
|
for s in self._scale_list():
|
||||||
sw = max(16, int(round(w * s)))
|
sw = max(16, int(round(w * s)))
|
||||||
sh = max(16, int(round(h * s)))
|
sh = max(16, int(round(h * s)))
|
||||||
@@ -294,8 +484,42 @@ class LineShapeMatcher:
|
|||||||
kh=kh, kw=kw,
|
kh=kh, kw=kw,
|
||||||
cx_local=float(cx_local), cy_local=float(cy_local),
|
cx_local=float(cx_local), cy_local=float(cy_local),
|
||||||
))
|
))
|
||||||
|
self._dedup_variants()
|
||||||
return len(self.variants)
|
return len(self.variants)
|
||||||
|
|
||||||
|
def _dedup_variants(self) -> int:
|
||||||
|
"""Rimuove varianti con feature-set identico (post-quantizzazione).
|
||||||
|
|
||||||
|
Halcon-style: con angle range = (0, 360) e simmetrie del template,
|
||||||
|
molte rotazioni producono lo stesso set quantizzato di feature.
|
||||||
|
Es: quadrato a 0/90/180/270 deg → stesse features (modulo permutazione).
|
||||||
|
Hash su feature ordinate (livello 0, full-res) elimina i duplicati.
|
||||||
|
|
||||||
|
Vantaggio: meno varianti = meno chiamate kernel JIT al top-level
|
||||||
|
senza perdere copertura angolare effettiva. Per template asimmetrici
|
||||||
|
non rimuove nulla.
|
||||||
|
"""
|
||||||
|
seen: dict[bytes, int] = {}
|
||||||
|
kept: list[_Variant] = []
|
||||||
|
removed = 0
|
||||||
|
for var in self.variants:
|
||||||
|
lvl0 = var.levels[0]
|
||||||
|
order = np.lexsort((lvl0.bin, lvl0.dy, lvl0.dx))
|
||||||
|
key = (
|
||||||
|
lvl0.dx[order].tobytes()
|
||||||
|
+ b"|" + lvl0.dy[order].tobytes()
|
||||||
|
+ b"|" + lvl0.bin[order].tobytes()
|
||||||
|
+ b"|" + str(round(var.scale, 4)).encode()
|
||||||
|
)
|
||||||
|
h = key # diretto, senza hash crypto (collision ok solo se identici)
|
||||||
|
if h in seen:
|
||||||
|
removed += 1
|
||||||
|
continue
|
||||||
|
seen[h] = len(kept)
|
||||||
|
kept.append(var)
|
||||||
|
self.variants = kept
|
||||||
|
return removed
|
||||||
|
|
||||||
# --- Matching ------------------------------------------------------
|
# --- Matching ------------------------------------------------------
|
||||||
|
|
||||||
def _response_map(self, gray: np.ndarray) -> np.ndarray:
|
def _response_map(self, gray: np.ndarray) -> np.ndarray:
|
||||||
@@ -313,20 +537,22 @@ class LineShapeMatcher:
|
|||||||
return raw
|
return raw
|
||||||
|
|
||||||
def _spread_bitmap(self, gray: np.ndarray) -> np.ndarray:
|
def _spread_bitmap(self, gray: np.ndarray) -> np.ndarray:
|
||||||
"""Spread bitmap uint8: bit b acceso dove bin b è presente nel raggio.
|
"""Spread bitmap: bit b acceso dove bin b è presente nel raggio.
|
||||||
|
|
||||||
Formato compatto 32× più denso della response map (N_BINS, H, W) float32.
|
dtype: uint8 per N_BINS=8, uint16 per N_BINS_POL=16 (use_polarity).
|
||||||
"""
|
"""
|
||||||
mag, bins = self._gradient(gray)
|
mag, bins = self._gradient(gray)
|
||||||
valid = mag >= self.weak_grad
|
valid = mag >= self.weak_grad
|
||||||
k = 2 * self.spread_radius + 1
|
k = 2 * self.spread_radius + 1
|
||||||
kernel = np.ones((k, k), dtype=np.uint8)
|
kernel = np.ones((k, k), dtype=np.uint8)
|
||||||
H, W = gray.shape
|
H, W = gray.shape
|
||||||
spread = np.zeros((H, W), dtype=np.uint8)
|
nb = self._n_bins
|
||||||
for b in range(N_BINS):
|
dtype = np.uint16 if nb > 8 else np.uint8
|
||||||
|
spread = np.zeros((H, W), dtype=dtype)
|
||||||
|
for b in range(nb):
|
||||||
mask_b = ((bins == b) & valid).astype(np.uint8)
|
mask_b = ((bins == b) & valid).astype(np.uint8)
|
||||||
d = cv2.dilate(mask_b, kernel)
|
d = cv2.dilate(mask_b, kernel)
|
||||||
spread |= (d << b)
|
spread |= (d.astype(dtype) << b)
|
||||||
return spread
|
return spread
|
||||||
|
|
||||||
@staticmethod
|
@staticmethod
|
||||||
@@ -394,6 +620,108 @@ class LineShapeMatcher:
|
|||||||
oy = float(np.clip(oy, -0.5, 0.5))
|
oy = float(np.clip(oy, -0.5, 0.5))
|
||||||
return x + ox, y + oy
|
return x + ox, y + oy
|
||||||
|
|
||||||
|
def _refine_pose_joint(
|
||||||
|
self,
|
||||||
|
spread0: np.ndarray,
|
||||||
|
template_gray: np.ndarray,
|
||||||
|
cx: float, cy: float,
|
||||||
|
angle_deg: float, scale: float,
|
||||||
|
mask_full: np.ndarray,
|
||||||
|
max_iter: int = 24,
|
||||||
|
tol: float = 1e-3,
|
||||||
|
) -> tuple[float, float, float, float]:
|
||||||
|
"""Refine congiunto (cx, cy, angle) via Nelder-Mead 3D.
|
||||||
|
|
||||||
|
Ottimizza simultaneamente posizione e angolo (vs golden search 1D
|
||||||
|
sull'angolo poi quadratico 2D su xy che alterna assi). Halcon-style:
|
||||||
|
un singolo iter LM stila il match a precisione sub-pixel + sub-step.
|
||||||
|
Ritorna (angle, score, cx, cy) dove score e quello calcolato sulla
|
||||||
|
scena spread (no template gray).
|
||||||
|
"""
|
||||||
|
h, w = template_gray.shape
|
||||||
|
sw = max(16, int(round(w * scale)))
|
||||||
|
sh = max(16, int(round(h * scale)))
|
||||||
|
gray_s = cv2.resize(template_gray, (sw, sh), interpolation=cv2.INTER_LINEAR)
|
||||||
|
mask_s = cv2.resize(mask_full, (sw, sh), interpolation=cv2.INTER_NEAREST)
|
||||||
|
diag = int(np.ceil(np.hypot(sh, sw))) + 6
|
||||||
|
py = (diag - sh) // 2; px = (diag - sw) // 2
|
||||||
|
gray_p = cv2.copyMakeBorder(gray_s, py, diag - sh - py, px, diag - sw - px,
|
||||||
|
cv2.BORDER_REPLICATE)
|
||||||
|
mask_p = cv2.copyMakeBorder(mask_s, py, diag - sh - py, px, diag - sw - px,
|
||||||
|
cv2.BORDER_CONSTANT, value=0)
|
||||||
|
center = (diag / 2.0, diag / 2.0)
|
||||||
|
H, W = spread0.shape
|
||||||
|
|
||||||
|
def _score(params: tuple[float, float, float]) -> float:
|
||||||
|
ddx, ddy, dang = params
|
||||||
|
ang = angle_deg + dang
|
||||||
|
M = cv2.getRotationMatrix2D(center, ang, 1.0)
|
||||||
|
gray_r = cv2.warpAffine(gray_p, M, (diag, diag),
|
||||||
|
flags=cv2.INTER_LINEAR,
|
||||||
|
borderMode=cv2.BORDER_REPLICATE)
|
||||||
|
mask_r = cv2.warpAffine(mask_p, M, (diag, diag),
|
||||||
|
flags=cv2.INTER_NEAREST, borderValue=0)
|
||||||
|
mag, bins = self._gradient(gray_r)
|
||||||
|
fx, fy, fb = self._extract_features(mag, bins, mask_r)
|
||||||
|
if len(fx) < 8:
|
||||||
|
return 0.0
|
||||||
|
cxe = cx + ddx; cye = cy + ddy
|
||||||
|
ix = int(round(cxe)); iy = int(round(cye))
|
||||||
|
tot = 0
|
||||||
|
valid = 0
|
||||||
|
for i in range(len(fx)):
|
||||||
|
xs = ix + int(fx[i] - center[0])
|
||||||
|
ys = iy + int(fy[i] - center[1])
|
||||||
|
if 0 <= xs < W and 0 <= ys < H:
|
||||||
|
bit = np.uint8(1 << int(fb[i]))
|
||||||
|
if spread0[ys, xs] & bit:
|
||||||
|
tot += 1
|
||||||
|
valid += 1
|
||||||
|
return -float(tot) / max(1, valid) # minimize -score
|
||||||
|
|
||||||
|
# Nelder-Mead 3D inline (no scipy). Simplex iniziale: vertice + offset
|
||||||
|
# dx=±0.5px, dy=±0.5px, dθ=±step/2.
|
||||||
|
step_a = self.angle_step_deg / 2.0 if self.angle_step_deg > 0 else 1.0
|
||||||
|
x0 = np.array([0.0, 0.0, 0.0])
|
||||||
|
simplex = np.array([
|
||||||
|
x0,
|
||||||
|
x0 + [0.5, 0.0, 0.0],
|
||||||
|
x0 + [0.0, 0.5, 0.0],
|
||||||
|
x0 + [0.0, 0.0, step_a],
|
||||||
|
])
|
||||||
|
fvals = np.array([_score(tuple(s)) for s in simplex])
|
||||||
|
for _ in range(max_iter):
|
||||||
|
order = np.argsort(fvals)
|
||||||
|
simplex = simplex[order]; fvals = fvals[order]
|
||||||
|
if abs(fvals[-1] - fvals[0]) < tol:
|
||||||
|
break
|
||||||
|
centroid = simplex[:-1].mean(axis=0)
|
||||||
|
xr = centroid + 1.0 * (centroid - simplex[-1])
|
||||||
|
fr = _score(tuple(xr))
|
||||||
|
if fvals[0] <= fr < fvals[-2]:
|
||||||
|
simplex[-1] = xr; fvals[-1] = fr
|
||||||
|
continue
|
||||||
|
if fr < fvals[0]:
|
||||||
|
xe = centroid + 2.0 * (centroid - simplex[-1])
|
||||||
|
fe = _score(tuple(xe))
|
||||||
|
if fe < fr:
|
||||||
|
simplex[-1] = xe; fvals[-1] = fe
|
||||||
|
else:
|
||||||
|
simplex[-1] = xr; fvals[-1] = fr
|
||||||
|
continue
|
||||||
|
xc = centroid + 0.5 * (simplex[-1] - centroid)
|
||||||
|
fc = _score(tuple(xc))
|
||||||
|
if fc < fvals[-1]:
|
||||||
|
simplex[-1] = xc; fvals[-1] = fc
|
||||||
|
continue
|
||||||
|
for k in range(1, 4):
|
||||||
|
simplex[k] = simplex[0] + 0.5 * (simplex[k] - simplex[0])
|
||||||
|
fvals[k] = _score(tuple(simplex[k]))
|
||||||
|
best_i = int(np.argmin(fvals))
|
||||||
|
ddx, ddy, dang = simplex[best_i]
|
||||||
|
return (angle_deg + float(dang), -float(fvals[best_i]),
|
||||||
|
cx + float(ddx), cy + float(ddy))
|
||||||
|
|
||||||
def _refine_angle(
|
def _refine_angle(
|
||||||
self,
|
self,
|
||||||
spread0: np.ndarray, # bitmap uint8 (H, W)
|
spread0: np.ndarray, # bitmap uint8 (H, W)
|
||||||
@@ -412,11 +740,13 @@ class LineShapeMatcher:
|
|||||||
l'angolo con score massimo (parabolic fit sulle 3 score centrali).
|
l'angolo con score massimo (parabolic fit sulle 3 score centrali).
|
||||||
Ritorna (angle_refined, score, cx_refined, cy_refined).
|
Ritorna (angle_refined, score, cx_refined, cy_refined).
|
||||||
"""
|
"""
|
||||||
# Se il match grezzo è già quasi perfetto, NON refinare
|
# NB: rimosso early-skip su score >= 0.99. Lo score linemod/shape
|
||||||
if original_score is not None and original_score >= 0.99:
|
# satura facilmente a 1.0 (specie con pyramid_propagate o spread
|
||||||
return (angle_deg, original_score, cx, cy)
|
# ampio) ma NON garantisce angolo preciso: l'angolo grezzo della
|
||||||
|
# variante e' quantizzato a multipli di angle_step (5 deg default).
|
||||||
|
# Refine angolare e' essenziale per orientamento sub-step.
|
||||||
if search_radius is None:
|
if search_radius is None:
|
||||||
search_radius = self.angle_step_deg / 2.0
|
search_radius = self._effective_angle_step() / 2.0
|
||||||
|
|
||||||
h, w = template_gray.shape
|
h, w = template_gray.shape
|
||||||
sw = max(16, int(round(w * scale)))
|
sw = max(16, int(round(w * scale)))
|
||||||
@@ -434,17 +764,36 @@ class LineShapeMatcher:
|
|||||||
H, W = spread0.shape
|
H, W = spread0.shape
|
||||||
margin = 3
|
margin = 3
|
||||||
|
|
||||||
|
# Cache template features per angolo (chiave: int(round(ang*20)) =
|
||||||
|
# bucket di 0.05°). Golden-search ricontratto puo richiedere lo
|
||||||
|
# stesso bucket piu volte; evita re-warp+gradient+extract (costoso).
|
||||||
|
# Cache a livello matcher per riusare tra chiamate find() su scene
|
||||||
|
# diverse: la rotazione del template non dipende dalla scena.
|
||||||
|
if not hasattr(self, '_refine_feat_cache'):
|
||||||
|
self._refine_feat_cache = {}
|
||||||
|
feat_cache = self._refine_feat_cache
|
||||||
|
cache_scale_key = round(scale * 1000)
|
||||||
|
|
||||||
def _score_at_angle(off: float) -> tuple[float, float, float]:
|
def _score_at_angle(off: float) -> tuple[float, float, float]:
|
||||||
"""Ritorna (score, best_cx, best_cy) per angolo = angle_deg + off."""
|
"""Ritorna (score, best_cx, best_cy) per angolo = angle_deg + off."""
|
||||||
ang = angle_deg + off
|
ang = angle_deg + off
|
||||||
M = cv2.getRotationMatrix2D(center, ang, 1.0)
|
ck = (round(ang * 20), cache_scale_key)
|
||||||
gray_r = cv2.warpAffine(gray_p, M, (diag, diag),
|
cached = feat_cache.get(ck)
|
||||||
flags=cv2.INTER_LINEAR,
|
if cached is not None:
|
||||||
borderMode=cv2.BORDER_REPLICATE)
|
fx, fy, fb = cached
|
||||||
mask_r = cv2.warpAffine(mask_p, M, (diag, diag),
|
else:
|
||||||
flags=cv2.INTER_NEAREST, borderValue=0)
|
M = cv2.getRotationMatrix2D(center, ang, 1.0)
|
||||||
mag, bins = self._gradient(gray_r)
|
gray_r = cv2.warpAffine(gray_p, M, (diag, diag),
|
||||||
fx, fy, fb = self._extract_features(mag, bins, mask_r)
|
flags=cv2.INTER_LINEAR,
|
||||||
|
borderMode=cv2.BORDER_REPLICATE)
|
||||||
|
mask_r = cv2.warpAffine(mask_p, M, (diag, diag),
|
||||||
|
flags=cv2.INTER_NEAREST, borderValue=0)
|
||||||
|
mag, bins = self._gradient(gray_r)
|
||||||
|
fx, fy, fb = self._extract_features(mag, bins, mask_r)
|
||||||
|
# LRU semplice: limita cache a ~256 angoli (8 angoli * 32 candidati)
|
||||||
|
if len(feat_cache) > 256:
|
||||||
|
feat_cache.pop(next(iter(feat_cache)))
|
||||||
|
feat_cache[ck] = (fx, fy, fb)
|
||||||
if len(fx) < 8:
|
if len(fx) < 8:
|
||||||
return (0.0, cx, cy)
|
return (0.0, cx, cy)
|
||||||
dx = (fx - center[0]).astype(np.int32)
|
dx = (fx - center[0]).astype(np.int32)
|
||||||
@@ -453,9 +802,10 @@ class LineShapeMatcher:
|
|||||||
x_lo = int(cx) - margin; x_hi = int(cx) + margin + 1
|
x_lo = int(cx) - margin; x_hi = int(cx) + margin + 1
|
||||||
sh_w = y_hi - y_lo; sw_w = x_hi - x_lo
|
sh_w = y_hi - y_lo; sw_w = x_hi - x_lo
|
||||||
acc = np.zeros((sh_w, sw_w), dtype=np.float32)
|
acc = np.zeros((sh_w, sw_w), dtype=np.float32)
|
||||||
|
spread_dtype = spread0.dtype.type
|
||||||
for i in range(len(dx)):
|
for i in range(len(dx)):
|
||||||
ddx = int(dx[i]); ddy = int(dy[i]); b = int(fb[i])
|
ddx = int(dx[i]); ddy = int(dy[i]); b = int(fb[i])
|
||||||
bit = np.uint8(1 << b)
|
bit = spread_dtype(1 << b)
|
||||||
sy0 = y_lo + ddy; sy1 = y_hi + ddy
|
sy0 = y_lo + ddy; sy1 = y_hi + ddy
|
||||||
sx0 = x_lo + ddx; sx1 = x_hi + ddx
|
sx0 = x_lo + ddx; sx1 = x_hi + ddx
|
||||||
a_y0 = max(0, -sy0); a_y1 = sh_w - max(0, sy1 - H)
|
a_y0 = max(0, -sy0); a_y1 = sh_w - max(0, sy1 - H)
|
||||||
@@ -560,7 +910,15 @@ class LineShapeMatcher:
|
|||||||
scn = scn_crop[valid].astype(np.float32)
|
scn = scn_crop[valid].astype(np.float32)
|
||||||
tm = tpl - tpl.mean()
|
tm = tpl - tpl.mean()
|
||||||
sm = scn - scn.mean()
|
sm = scn - scn.mean()
|
||||||
denom = np.sqrt((tm * tm).sum() * (sm * sm).sum()) + 1e-9
|
# Std minimo: se template o scena patch sono quasi uniformi
|
||||||
|
# (es. zona di sfondo bianco/nero), NCC e instabile e da false
|
||||||
|
# high-correlation. Halcon-style: scarta match.
|
||||||
|
tpl_var = float((tm * tm).sum())
|
||||||
|
scn_var = float((sm * sm).sum())
|
||||||
|
n_pix = float(valid.sum())
|
||||||
|
if tpl_var < 1e-3 * n_pix or scn_var < 1e-3 * n_pix:
|
||||||
|
return 0.0
|
||||||
|
denom = np.sqrt(tpl_var * scn_var) + 1e-9
|
||||||
return float((tm * sm).sum() / denom)
|
return float((tm * sm).sum() / denom)
|
||||||
|
|
||||||
def find(
|
def find(
|
||||||
@@ -573,9 +931,17 @@ class LineShapeMatcher:
|
|||||||
subpixel: bool = True,
|
subpixel: bool = True,
|
||||||
verify_ncc: bool = True,
|
verify_ncc: bool = True,
|
||||||
verify_threshold: float = 0.4,
|
verify_threshold: float = 0.4,
|
||||||
|
ncc_skip_above: float = 1.01, # disabilitato di default: NCC sempre
|
||||||
coarse_angle_factor: int = 2,
|
coarse_angle_factor: int = 2,
|
||||||
|
coarse_stride: int = 1,
|
||||||
scale_penalty: float = 0.0,
|
scale_penalty: float = 0.0,
|
||||||
|
search_roi: tuple[int, int, int, int] | None = None,
|
||||||
|
pyramid_propagate: bool = False, # off di default: meno duplicati
|
||||||
|
propagate_topk: int = 4,
|
||||||
|
refine_pose_joint: bool = False,
|
||||||
|
greediness: float = 0.0,
|
||||||
batch_top: bool = False,
|
batch_top: bool = False,
|
||||||
|
nms_iou_threshold: float = 0.3,
|
||||||
) -> list[Match]:
|
) -> list[Match]:
|
||||||
"""
|
"""
|
||||||
scale_penalty: se > 0, riduce lo score per match a scala diversa da 1.0:
|
scale_penalty: se > 0, riduce lo score per match a scala diversa da 1.0:
|
||||||
@@ -583,11 +949,30 @@ class LineShapeMatcher:
|
|||||||
Utile se l'operatore vuole che match "identico al template anche per
|
Utile se l'operatore vuole che match "identico al template anche per
|
||||||
dimensione" abbia score più alto di match "stessa forma, dimensione
|
dimensione" abbia score più alto di match "stessa forma, dimensione
|
||||||
diversa". scale_penalty=0 (default) = comportamento shape puro.
|
diversa". scale_penalty=0 (default) = comportamento shape puro.
|
||||||
|
|
||||||
|
search_roi: (x, y, w, h) limita la ricerca a una regione della scena.
|
||||||
|
Equivalente a Halcon set_aoi: il matching opera su crop locale e le
|
||||||
|
coordinate output sono ri-traslate al sistema scena originale. Usare
|
||||||
|
quando si conosce a priori l'area in cui il pezzo può apparire (es.
|
||||||
|
feeder a posizione fissa) → costo proporzionale a w·h invece di W·H.
|
||||||
"""
|
"""
|
||||||
if not self.variants:
|
if not self.variants:
|
||||||
raise RuntimeError("Matcher non addestrato: chiamare train() prima.")
|
raise RuntimeError("Matcher non addestrato: chiamare train() prima.")
|
||||||
|
|
||||||
gray0 = self._to_gray(scene_bgr)
|
gray_full = self._to_gray(scene_bgr)
|
||||||
|
# Applica ROI di ricerca: restringe scena a crop, ricorda offset per
|
||||||
|
# ri-traslare le coordinate dei match a fine pipeline.
|
||||||
|
if search_roi is not None:
|
||||||
|
rx, ry, rw, rh = search_roi
|
||||||
|
H_s, W_s = gray_full.shape
|
||||||
|
rx = max(0, int(rx)); ry = max(0, int(ry))
|
||||||
|
rw = max(1, min(int(rw), W_s - rx))
|
||||||
|
rh = max(1, min(int(rh), H_s - ry))
|
||||||
|
gray0 = gray_full[ry:ry + rh, rx:rx + rw]
|
||||||
|
roi_offset = (rx, ry)
|
||||||
|
else:
|
||||||
|
gray0 = gray_full
|
||||||
|
roi_offset = (0, 0)
|
||||||
grays = [gray0]
|
grays = [gray0]
|
||||||
for _ in range(self.pyramid_levels - 1):
|
for _ in range(self.pyramid_levels - 1):
|
||||||
grays.append(cv2.pyrDown(grays[-1]))
|
grays.append(cv2.pyrDown(grays[-1]))
|
||||||
@@ -597,12 +982,25 @@ class LineShapeMatcher:
|
|||||||
# map float32 → MOLTO più cache-friendly per _score_by_shift.
|
# map float32 → MOLTO più cache-friendly per _score_by_shift.
|
||||||
spread_top = self._spread_bitmap(grays[top])
|
spread_top = self._spread_bitmap(grays[top])
|
||||||
bit_active_top = int(
|
bit_active_top = int(
|
||||||
sum(1 << b for b in range(N_BINS)
|
sum(1 << b for b in range(self._n_bins)
|
||||||
if (spread_top & np.uint8(1 << b)).any())
|
if (spread_top & (spread_top.dtype.type(1) << b)).any())
|
||||||
)
|
)
|
||||||
if nms_radius is None:
|
if nms_radius is None:
|
||||||
nms_radius = max(8, min(self.template_size) // 2)
|
nms_radius = max(8, min(self.template_size) // 2)
|
||||||
top_thresh = min_score * self.top_score_factor
|
# Pruning adattivo allo step angolare: con step piccolo (<= 3 deg)
|
||||||
|
# ci sono molte varianti vicine, gli score top-level sono ravvicinati
|
||||||
|
# e top_thresh*0.5 e' troppo aggressivo: scarta varianti valide che
|
||||||
|
# sarebbero state riprese al full-res. Stessa cosa per
|
||||||
|
# coarse_angle_factor (skip 1 ogni 2): con step fine non e' utile.
|
||||||
|
# Risultato osservato: precisione "veloce" 10° dava risultati
|
||||||
|
# migliori di "preciso" 2° proprio perche evitava il pruning.
|
||||||
|
eff_step = self._effective_angle_step()
|
||||||
|
top_factor = self.top_score_factor
|
||||||
|
cf_eff = max(1, coarse_angle_factor)
|
||||||
|
if eff_step <= 3.0:
|
||||||
|
top_factor = max(top_factor, 0.7)
|
||||||
|
cf_eff = 1
|
||||||
|
top_thresh = min_score * top_factor
|
||||||
|
|
||||||
tw, th = self.template_size
|
tw, th = self.template_size
|
||||||
density_top = _jit_popcount(spread_top)
|
density_top = _jit_popcount(spread_top)
|
||||||
@@ -634,7 +1032,7 @@ class LineShapeMatcher:
|
|||||||
|
|
||||||
coarse_idx_list: list[int] = [] # varianti da valutare al top
|
coarse_idx_list: list[int] = [] # varianti da valutare al top
|
||||||
neighbor_map: dict[int, list[int]] = {} # vi_coarse -> indici vicini
|
neighbor_map: dict[int, list[int]] = {} # vi_coarse -> indici vicini
|
||||||
cf = max(1, coarse_angle_factor)
|
cf = cf_eff
|
||||||
for scale_key, vi_list in variants_by_scale.items():
|
for scale_key, vi_list in variants_by_scale.items():
|
||||||
vi_sorted = sorted(vi_list, key=lambda i: self.variants[i].angle_deg)
|
vi_sorted = sorted(vi_list, key=lambda i: self.variants[i].angle_deg)
|
||||||
n = len(vi_sorted)
|
n = len(vi_sorted)
|
||||||
@@ -647,15 +1045,44 @@ class LineShapeMatcher:
|
|||||||
end = min(n, i + half + 1)
|
end = min(n, i + half + 1)
|
||||||
neighbor_map[vi_c] = vi_sorted[start:end]
|
neighbor_map[vi_c] = vi_sorted[start:end]
|
||||||
|
|
||||||
# Pruning varianti via top-level (parallelizzato) - solo coarse
|
# Pruning varianti via top-level (parallelizzato).
|
||||||
|
# coarse_stride > 1: 1 pixel ogni stride (~stride^2 speed-up).
|
||||||
|
# pyramid_propagate=True: top-K picchi per restringere full-res.
|
||||||
|
# greediness > 0: kernel greedy con early-exit (alternativo a rescore).
|
||||||
|
cs = max(1, int(coarse_stride))
|
||||||
|
peaks_by_vi: dict[int, list[tuple[int, int, float]]] = {}
|
||||||
|
use_greedy_top = greediness > 0.0
|
||||||
|
|
||||||
def _top_score(vi: int) -> tuple[int, float]:
|
def _top_score(vi: int) -> tuple[int, float]:
|
||||||
var = self.variants[vi]
|
var = self.variants[vi]
|
||||||
lvl = var.levels[min(top, len(var.levels) - 1)]
|
lvl = var.levels[min(top, len(var.levels) - 1)]
|
||||||
score = _jit_score_bitmap_rescored(
|
if use_greedy_top:
|
||||||
spread_top, lvl.dx, lvl.dy, lvl.bin, bit_active_top,
|
# Greedy non supporta stride né rescore bg
|
||||||
bg_cache_top[var.scale],
|
score = _jit_score_bitmap_greedy(
|
||||||
)
|
spread_top, lvl.dx, lvl.dy, lvl.bin, bit_active_top,
|
||||||
return vi, float(score.max()) if score.size else -1.0
|
top_thresh, greediness,
|
||||||
|
)
|
||||||
|
else:
|
||||||
|
score = _jit_score_bitmap_rescored(
|
||||||
|
spread_top, lvl.dx, lvl.dy, lvl.bin, bit_active_top,
|
||||||
|
bg_cache_top[var.scale], stride=cs,
|
||||||
|
)
|
||||||
|
if score.size == 0:
|
||||||
|
return vi, -1.0
|
||||||
|
best = float(score.max())
|
||||||
|
if pyramid_propagate and best > 0:
|
||||||
|
flat = score.ravel()
|
||||||
|
k = min(propagate_topk, flat.size)
|
||||||
|
idx = np.argpartition(-flat, k - 1)[:k]
|
||||||
|
peaks: list[tuple[int, int, float]] = []
|
||||||
|
for i in idx:
|
||||||
|
s = float(flat[i])
|
||||||
|
if s < top_thresh * 0.7:
|
||||||
|
continue
|
||||||
|
yt, xt = int(i // score.shape[1]), int(i % score.shape[1])
|
||||||
|
peaks.append((xt, yt, s))
|
||||||
|
peaks_by_vi[vi] = peaks
|
||||||
|
return vi, best
|
||||||
|
|
||||||
kept_coarse: list[tuple[int, float]] = []
|
kept_coarse: list[tuple[int, float]] = []
|
||||||
all_top_scores: list[tuple[int, float]] = []
|
all_top_scores: list[tuple[int, float]] = []
|
||||||
@@ -726,21 +1153,55 @@ class LineShapeMatcher:
|
|||||||
# Full-res (parallelizzato) con bitmap
|
# Full-res (parallelizzato) con bitmap
|
||||||
spread0 = self._spread_bitmap(gray0)
|
spread0 = self._spread_bitmap(gray0)
|
||||||
bit_active_full = int(
|
bit_active_full = int(
|
||||||
sum(1 << b for b in range(N_BINS)
|
sum(1 << b for b in range(self._n_bins)
|
||||||
if (spread0 & np.uint8(1 << b)).any())
|
if (spread0 & (spread0.dtype.type(1) << b)).any())
|
||||||
)
|
)
|
||||||
density_full = _jit_popcount(spread0)
|
density_full = _jit_popcount(spread0)
|
||||||
for sc in unique_scales:
|
for sc in unique_scales:
|
||||||
bg_cache_full[sc] = _bg_for_scale(density_full, sc, 1)
|
bg_cache_full[sc] = _bg_for_scale(density_full, sc, 1)
|
||||||
|
|
||||||
|
# Margine in full-res attorno ad ogni peak top: copre incertezza
|
||||||
|
# downsampling (sf_top px) + spread_radius + slack per NMS.
|
||||||
|
propagate_margin = sf_top + self.spread_radius + max(8, nms_radius // 2)
|
||||||
|
H_full, W_full = spread0.shape
|
||||||
|
|
||||||
def _full_score(vi: int) -> tuple[int, np.ndarray]:
|
def _full_score(vi: int) -> tuple[int, np.ndarray]:
|
||||||
var = self.variants[vi]
|
var = self.variants[vi]
|
||||||
lvl0 = var.levels[0]
|
lvl0 = var.levels[0]
|
||||||
score = _jit_score_bitmap_rescored(
|
if not pyramid_propagate or vi not in peaks_by_vi or not peaks_by_vi[vi]:
|
||||||
spread0, lvl0.dx, lvl0.dy, lvl0.bin, bit_active_full,
|
# Path legacy: scansiona intera scena
|
||||||
bg_cache_full[var.scale],
|
return vi, _jit_score_bitmap_rescored(
|
||||||
)
|
spread0, lvl0.dx, lvl0.dy, lvl0.bin, bit_active_full,
|
||||||
return vi, score
|
bg_cache_full[var.scale],
|
||||||
|
)
|
||||||
|
# Path piramide propagata: valuta solo crop locali attorno
|
||||||
|
# alle posizioni dei picchi top-level (riproiettati a full-res).
|
||||||
|
score_full = np.zeros((H_full, W_full), dtype=np.float32)
|
||||||
|
mark = np.zeros((H_full, W_full), dtype=bool)
|
||||||
|
bg = bg_cache_full[var.scale]
|
||||||
|
for xt, yt, _s in peaks_by_vi[vi]:
|
||||||
|
cx0 = xt * sf_top
|
||||||
|
cy0 = yt * sf_top
|
||||||
|
x_lo = max(0, cx0 - propagate_margin)
|
||||||
|
x_hi = min(W_full, cx0 + propagate_margin + 1)
|
||||||
|
y_lo = max(0, cy0 - propagate_margin)
|
||||||
|
y_hi = min(H_full, cy0 + propagate_margin + 1)
|
||||||
|
if x_hi <= x_lo or y_hi <= y_lo:
|
||||||
|
continue
|
||||||
|
if mark[y_lo:y_hi, x_lo:x_hi].all():
|
||||||
|
continue
|
||||||
|
# Crop spread + bg, valuta kernel sul crop
|
||||||
|
spread_crop = np.ascontiguousarray(spread0[y_lo:y_hi, x_lo:x_hi])
|
||||||
|
bg_crop = np.ascontiguousarray(bg[y_lo:y_hi, x_lo:x_hi])
|
||||||
|
score_crop = _jit_score_bitmap_rescored(
|
||||||
|
spread_crop, lvl0.dx, lvl0.dy, lvl0.bin,
|
||||||
|
bit_active_full, bg_crop,
|
||||||
|
)
|
||||||
|
score_full[y_lo:y_hi, x_lo:x_hi] = np.maximum(
|
||||||
|
score_full[y_lo:y_hi, x_lo:x_hi], score_crop,
|
||||||
|
)
|
||||||
|
mark[y_lo:y_hi, x_lo:x_hi] = True
|
||||||
|
return vi, score_full
|
||||||
|
|
||||||
candidates_per_var: list[tuple[int, np.ndarray]] = []
|
candidates_per_var: list[tuple[int, np.ndarray]] = []
|
||||||
raw: list[tuple[float, int, int, int]] = []
|
raw: list[tuple[float, int, int, int]] = []
|
||||||
@@ -818,28 +1279,84 @@ class LineShapeMatcher:
|
|||||||
var = self.variants[vi]
|
var = self.variants[vi]
|
||||||
ang_f = var.angle_deg
|
ang_f = var.angle_deg
|
||||||
score_f = score
|
score_f = score
|
||||||
if refine_angle and self.template_gray is not None:
|
if refine_pose_joint and self.template_gray is not None:
|
||||||
|
ang_f, score_f, cx_f, cy_f = self._refine_pose_joint(
|
||||||
|
spread0, self.template_gray, cx_f, cy_f,
|
||||||
|
var.angle_deg, var.scale, mask_full,
|
||||||
|
)
|
||||||
|
elif refine_angle and self.template_gray is not None:
|
||||||
ang_f, score_f, cx_f, cy_f = self._refine_angle(
|
ang_f, score_f, cx_f, cy_f = self._refine_angle(
|
||||||
spread0, bit_active_full, self.template_gray, cx_f, cy_f,
|
spread0, bit_active_full, self.template_gray, cx_f, cy_f,
|
||||||
var.angle_deg, var.scale, mask_full,
|
var.angle_deg, var.scale, mask_full,
|
||||||
search_radius=self.angle_step_deg / 2.0,
|
search_radius=self._effective_angle_step() / 2.0,
|
||||||
original_score=score,
|
original_score=score,
|
||||||
)
|
)
|
||||||
if verify_ncc:
|
# NCC verify (Halcon-style): se ncc_skip_above < 1.0 salta
|
||||||
|
# il calcolo per shape-score gia alti. Default 1.01 = NCC sempre,
|
||||||
|
# piu sicuro contro falsi positivi (lo shape-score satura facile).
|
||||||
|
# Quando NCC viene calcolato, lo score finale e' la MEDIA tra
|
||||||
|
# shape-score e NCC: rende lo score piu discriminante per
|
||||||
|
# ranking/visualizzazione (uno score 1.0 vero richiede sia
|
||||||
|
# match shape sia template gray identici).
|
||||||
|
if verify_ncc and float(score_f) < ncc_skip_above:
|
||||||
ncc = self._verify_ncc(gray0, cx_f, cy_f, ang_f, var.scale)
|
ncc = self._verify_ncc(gray0, cx_f, cy_f, ang_f, var.scale)
|
||||||
if ncc < verify_threshold:
|
if ncc < verify_threshold:
|
||||||
continue
|
continue
|
||||||
|
score_f = (float(score_f) + max(0.0, ncc)) * 0.5
|
||||||
|
# Re-check min_score sullo score finale: NCC averaging puo
|
||||||
|
# abbattere lo shape-score sotto la soglia user. Senza questo
|
||||||
|
# check apparivano match con score < min_score (UI confusing).
|
||||||
|
if float(score_f) < min_score:
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Ri-traslo coord da spazio crop ROI a spazio scena originale.
|
||||||
|
cx_out = cx_f + roi_offset[0]
|
||||||
|
cy_out = cy_f + roi_offset[1]
|
||||||
poly = _oriented_bbox_polygon(
|
poly = _oriented_bbox_polygon(
|
||||||
cx_f, cy_f, tw * var.scale, th * var.scale, ang_f,
|
cx_out, cy_out, tw * var.scale, th * var.scale, ang_f,
|
||||||
)
|
)
|
||||||
|
# Reject match con bbox che sfora pesantemente la scena:
|
||||||
|
# spesso indica match spurio (centro derivato male o scala
|
||||||
|
# incoerente). Tollera 25% out-of-bounds, sopra rigetta.
|
||||||
|
H_scn, W_scn = gray_full.shape
|
||||||
|
poly_area = float(cv2.contourArea(poly))
|
||||||
|
if poly_area > 0:
|
||||||
|
# Clip poly alla scena: intersezione con rettangolo (0,0,W,H)
|
||||||
|
scene_rect = np.array([
|
||||||
|
[0, 0], [W_scn, 0], [W_scn, H_scn], [0, H_scn],
|
||||||
|
], dtype=np.float32)
|
||||||
|
inter, _ = cv2.intersectConvexConvex(
|
||||||
|
poly.astype(np.float32), scene_rect,
|
||||||
|
)
|
||||||
|
inside_ratio = float(inter) / poly_area
|
||||||
|
if inside_ratio < 0.75:
|
||||||
|
continue
|
||||||
# Penalità scala opzionale: score degrada con distanza da 1.0
|
# Penalità scala opzionale: score degrada con distanza da 1.0
|
||||||
if scale_penalty > 0.0 and var.scale != 1.0:
|
if scale_penalty > 0.0 and var.scale != 1.0:
|
||||||
score_f = float(score_f) * max(
|
score_f = float(score_f) * max(
|
||||||
0.0, 1.0 - scale_penalty * abs(var.scale - 1.0)
|
0.0, 1.0 - scale_penalty * abs(var.scale - 1.0)
|
||||||
)
|
)
|
||||||
|
# NMS post-refine cross-variant: usa IoU bbox-poligonale invece
|
||||||
|
# di sola distanza centro. Due match orientati diversi ma vicini
|
||||||
|
# (pezzi adiacenti) NON vengono fusi se l'overlap reale e basso;
|
||||||
|
# due match dello stesso pezzo (centri uguali, rotazione simile)
|
||||||
|
# hanno IoU alto e vengono droppati.
|
||||||
|
# Fallback distanza centro per match con bbox degenere.
|
||||||
|
dup = False
|
||||||
|
for k in kept:
|
||||||
|
iou = _poly_iou(k.bbox_poly, poly)
|
||||||
|
if iou > nms_iou_threshold:
|
||||||
|
dup = True
|
||||||
|
break
|
||||||
|
# Sicurezza: centri molto vicini (dentro nms_radius/2)
|
||||||
|
# sempre fusi, anche con orientamenti molto diversi.
|
||||||
|
if (k.cx - cx_out) ** 2 + (k.cy - cy_out) ** 2 < (r2 / 4.0):
|
||||||
|
dup = True
|
||||||
|
break
|
||||||
|
if dup:
|
||||||
|
continue
|
||||||
kept.append(Match(
|
kept.append(Match(
|
||||||
cx=cx_f, cy=cy_f,
|
cx=cx_out, cy=cy_out,
|
||||||
angle_deg=ang_f,
|
angle_deg=ang_f,
|
||||||
scale=var.scale,
|
scale=var.scale,
|
||||||
score=score_f,
|
score=score_f,
|
||||||
|
|||||||
+3
-3
@@ -249,9 +249,9 @@ PRECISION_ANGLE_STEP = {
|
|||||||
# Un operatore sceglie il livello di rigore, non un numero astratto.
|
# Un operatore sceglie il livello di rigore, non un numero astratto.
|
||||||
FILTRO_FP_MAP = {
|
FILTRO_FP_MAP = {
|
||||||
"off": 0.0, # disabilitato: mantieni tutti i match shape-based
|
"off": 0.0, # disabilitato: mantieni tutti i match shape-based
|
||||||
"leggero": 0.20, # tollera variazioni intensità/illuminazione forti
|
"leggero": 0.30, # tollera variazioni intensità/illuminazione forti
|
||||||
"medio": 0.35, # default bilanciato (consigliato)
|
"medio": 0.50, # default bilanciato (consigliato)
|
||||||
"forte": 0.50, # scarta match con intensità molto diversa dal template
|
"forte": 0.70, # scarta match con intensità molto diversa dal template
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|
||||||
|
|||||||
@@ -294,12 +294,17 @@ async function doMatch() {
|
|||||||
const SCALE_MAP = {fissa:[1,1,0.1], mini:[0.9,1.1,0.05],
|
const SCALE_MAP = {fissa:[1,1,0.1], mini:[0.9,1.1,0.05],
|
||||||
medio:[0.75,1.25,0.05], max:[0.5,1.5,0.05]};
|
medio:[0.75,1.25,0.05], max:[0.5,1.5,0.05]};
|
||||||
const PREC_MAP = {veloce:10, normale:5, preciso:2};
|
const PREC_MAP = {veloce:10, normale:5, preciso:2};
|
||||||
const FP_MAP = {off:0, leggero:0.20, medio:0.35, forte:0.50};
|
// Allineato a FILTRO_FP_MAP server-side (server.py)
|
||||||
|
const FP_MAP = {off:0, leggero:0.30, medio:0.50, forte:0.70};
|
||||||
const [smin, smax, sstep] = SCALE_MAP[user.scala];
|
const [smin, smax, sstep] = SCALE_MAP[user.scala];
|
||||||
|
// NB: SYM_MAP[invariante]=0 e' valido (zero rotazioni). Uso ?? per
|
||||||
|
// distinguere "chiave mancante" da "valore zero": altrimenti 0 || 360
|
||||||
|
// collassa invariante a 360 = bug "simmetria non ha effetto".
|
||||||
|
const angMax = SYM_MAP[user.simmetria] ?? 360;
|
||||||
body = {
|
body = {
|
||||||
model_id: state.model.id, scene_id: state.scene.id, roi: state.roi,
|
model_id: state.model.id, scene_id: state.scene.id, roi: state.roi,
|
||||||
angle_min: 0, angle_max: SYM_MAP[user.simmetria] || 360,
|
angle_min: 0, angle_max: angMax,
|
||||||
angle_step: PREC_MAP[user.precisione] || 5,
|
angle_step: PREC_MAP[user.precisione] ?? 5,
|
||||||
scale_min: smin, scale_max: smax, scale_step: sstep,
|
scale_min: smin, scale_max: smax, scale_step: sstep,
|
||||||
min_score: user.min_score, max_matches: user.max_matches,
|
min_score: user.min_score, max_matches: user.max_matches,
|
||||||
num_features: adv.num_features ?? 96,
|
num_features: adv.num_features ?? 96,
|
||||||
@@ -307,7 +312,7 @@ async function doMatch() {
|
|||||||
strong_grad: adv.strong_grad ?? 60,
|
strong_grad: adv.strong_grad ?? 60,
|
||||||
spread_radius: adv.spread_radius ?? 5,
|
spread_radius: adv.spread_radius ?? 5,
|
||||||
pyramid_levels: adv.pyramid_levels ?? 3,
|
pyramid_levels: adv.pyramid_levels ?? 3,
|
||||||
verify_threshold: adv.verify_threshold ?? (FP_MAP[user.filtro_fp] ?? 0.35),
|
verify_threshold: adv.verify_threshold ?? (FP_MAP[user.filtro_fp] ?? 0.50),
|
||||||
nms_radius: adv.nms_radius ?? 0,
|
nms_radius: adv.nms_radius ?? 0,
|
||||||
};
|
};
|
||||||
} else {
|
} else {
|
||||||
|
|||||||
Reference in New Issue
Block a user