Compare commits
23 Commits
| Author | SHA1 | Date | |
|---|---|---|---|
| 041b26e791 | |||
| 41976f574d | |||
| 4ef7a4a85f | |||
| 7de7f35b7c | |||
| 7b014b7f69 | |||
| 367ee9aaac | |||
| 74e5a45a39 | |||
| 11c5160385 | |||
| 07bab87cb9 | |||
| a247484f36 | |||
| e188df0adb | |||
| b35d47669c | |||
| fc3b0dbc3a | |||
| 6da4dd5329 | |||
| b143c6607a | |||
| 6704d66cd5 | |||
| 4419c237b2 | |||
| f00cf9b621 | |||
| 4b7271094b | |||
| 746d1668c6 | |||
| d9a40952c4 | |||
| 6db2086ead | |||
| ba4024d252 |
+212
-2
@@ -167,6 +167,61 @@ if HAS_NUMBA:
|
||||
acc[y, x] = 0.0
|
||||
return acc
|
||||
|
||||
@nb.njit(cache=True, parallel=True, fastmath=True, boundscheck=False)
|
||||
def _jit_score_bitmap_greedy(
|
||||
spread: np.ndarray,
|
||||
dx: np.ndarray, dy: np.ndarray, bins: np.ndarray,
|
||||
bit_active: np.uint8,
|
||||
min_score: nb.float32,
|
||||
greediness: nb.float32,
|
||||
) -> np.ndarray:
|
||||
"""Score bitmap con early-exit greedy (no rescore background).
|
||||
|
||||
Per ogni pixel iteriamo le N feature; abortiamo non appena diventa
|
||||
impossibile raggiungere `min_required` count anche aggiungendo
|
||||
tutte le feature rimanenti. min_required = greediness * min_score * N.
|
||||
|
||||
greediness=0 → nessun early-exit (equivalente a kernel base).
|
||||
greediness=1 → exit non appena hits + remaining < min_score * N.
|
||||
Tipico: 0.7-0.9 → 2-4x speed-up senza perdere match.
|
||||
"""
|
||||
H, W = spread.shape
|
||||
N = dx.shape[0]
|
||||
acc = np.zeros((H, W), dtype=np.float32)
|
||||
if N == 0:
|
||||
return acc
|
||||
min_req = greediness * min_score * N
|
||||
inv_N = nb.float32(1.0 / N)
|
||||
for y in nb.prange(H):
|
||||
for x in range(W):
|
||||
hits = 0
|
||||
for i in range(N):
|
||||
b = bins[i]
|
||||
mask = np.uint8(1) << b
|
||||
if (bit_active & mask) == 0:
|
||||
if hits + (N - i - 1) < min_req:
|
||||
break
|
||||
continue
|
||||
ddy = dy[i]
|
||||
yy = y + ddy
|
||||
if yy < 0 or yy >= H:
|
||||
if hits + (N - i - 1) < min_req:
|
||||
break
|
||||
continue
|
||||
ddx = dx[i]
|
||||
xx = x + ddx
|
||||
if xx < 0 or xx >= W:
|
||||
if hits + (N - i - 1) < min_req:
|
||||
break
|
||||
continue
|
||||
if spread[yy, xx] & mask:
|
||||
hits += 1
|
||||
else:
|
||||
if hits + (N - i - 1) < min_req:
|
||||
break
|
||||
acc[y, x] = nb.float32(hits) * inv_N
|
||||
return acc
|
||||
|
||||
@nb.njit(cache=True, parallel=True, fastmath=True, boundscheck=False)
|
||||
def _jit_score_bitmap_rescored(
|
||||
spread: np.ndarray, # uint8 (H, W)
|
||||
@@ -216,6 +271,63 @@ if HAS_NUMBA:
|
||||
acc[y, x] = 0.0
|
||||
return acc
|
||||
|
||||
@nb.njit(cache=True, parallel=True, fastmath=True, boundscheck=False)
|
||||
def _jit_top_max_per_variant(
|
||||
spread: np.ndarray, # uint8 (H, W)
|
||||
dx_flat: np.ndarray, # int32 (sum_N,)
|
||||
dy_flat: np.ndarray, # int32 (sum_N,)
|
||||
bins_flat: np.ndarray, # int8 (sum_N,)
|
||||
offsets: np.ndarray, # int32 (n_vars+1,) prefix sum
|
||||
bit_active: np.uint8,
|
||||
bg_per_variant: np.ndarray, # float32 (n_vars, H, W) - 1 per scala
|
||||
scale_idx: np.ndarray, # int32 (n_vars,) idx in bg_per_variant
|
||||
) -> np.ndarray:
|
||||
"""Batch: per ogni variante calcola max score (rescored bg), ritorna
|
||||
array float32 (n_vars,). Parallelismo prange ESTERNO sulle varianti
|
||||
elimina overhead di n_vars chiamate JIT separate (avg ~20us per
|
||||
chiamata su template piccoli) + pool thread Python.
|
||||
|
||||
Pensato per fase TOP del pruning quando n_vars >> n_threads.
|
||||
"""
|
||||
n_vars = offsets.shape[0] - 1
|
||||
H, W = spread.shape
|
||||
out = np.zeros(n_vars, dtype=np.float32)
|
||||
for vi in nb.prange(n_vars):
|
||||
i0 = offsets[vi]; i1 = offsets[vi + 1]
|
||||
N = i1 - i0
|
||||
if N == 0:
|
||||
out[vi] = -1.0
|
||||
continue
|
||||
si = scale_idx[vi]
|
||||
inv = nb.float32(1.0 / N)
|
||||
best = nb.float32(-1.0)
|
||||
for y in range(H):
|
||||
for x in range(W):
|
||||
s = nb.float32(0.0)
|
||||
for k in range(N):
|
||||
b = bins_flat[i0 + k]
|
||||
mask = np.uint8(1) << b
|
||||
if (bit_active & mask) == 0:
|
||||
continue
|
||||
ddy = dy_flat[i0 + k]
|
||||
yy = y + ddy
|
||||
if yy < 0 or yy >= H:
|
||||
continue
|
||||
ddx = dx_flat[i0 + k]
|
||||
xx = x + ddx
|
||||
if xx < 0 or xx >= W:
|
||||
continue
|
||||
if spread[yy, xx] & mask:
|
||||
s += nb.float32(1.0)
|
||||
s *= inv
|
||||
bgv = bg_per_variant[si, y, x]
|
||||
if bgv < 1.0:
|
||||
r = (s - bgv) / (1.0 - bgv + 1e-6)
|
||||
if r > best:
|
||||
best = r
|
||||
out[vi] = best if best > 0.0 else 0.0
|
||||
return out
|
||||
|
||||
@nb.njit(cache=True, parallel=True, fastmath=True, boundscheck=False)
|
||||
def _jit_popcount_density(spread: np.ndarray) -> np.ndarray:
|
||||
"""Conta bit set per pixel: ritorna (H, W) float32 in [0..8]."""
|
||||
@@ -245,6 +357,16 @@ if HAS_NUMBA:
|
||||
_jit_score_bitmap_rescored_strided(
|
||||
spread, dx, dy, b, np.uint8(0xFF), bg, np.int32(2),
|
||||
)
|
||||
_jit_score_bitmap_greedy(
|
||||
spread, dx, dy, b, np.uint8(0xFF),
|
||||
np.float32(0.5), np.float32(0.8),
|
||||
)
|
||||
offsets = np.array([0, 1], dtype=np.int32)
|
||||
scale_idx = np.zeros(1, dtype=np.int32)
|
||||
bg_pv = np.zeros((1, 32, 32), dtype=np.float32)
|
||||
_jit_top_max_per_variant(
|
||||
spread, dx, dy, b, offsets, np.uint8(0xFF), bg_pv, scale_idx,
|
||||
)
|
||||
_jit_popcount_density(spread)
|
||||
|
||||
else: # pragma: no cover
|
||||
@@ -261,6 +383,15 @@ else: # pragma: no cover
|
||||
def _jit_score_bitmap_rescored_strided(spread, dx, dy, bins, bit_active, bg, stride):
|
||||
raise RuntimeError("numba non disponibile")
|
||||
|
||||
def _jit_score_bitmap_greedy(spread, dx, dy, bins, bit_active, min_score, greediness):
|
||||
raise RuntimeError("numba non disponibile")
|
||||
|
||||
def _jit_top_max_per_variant(
|
||||
spread, dx_flat, dy_flat, bins_flat, offsets, bit_active,
|
||||
bg_per_variant, scale_idx,
|
||||
):
|
||||
raise RuntimeError("numba non disponibile")
|
||||
|
||||
def _jit_popcount_density(spread):
|
||||
raise RuntimeError("numba non disponibile")
|
||||
|
||||
@@ -319,10 +450,89 @@ def score_bitmap_rescored(
|
||||
return np.maximum(0.0, out).astype(np.float32)
|
||||
|
||||
|
||||
def score_bitmap_greedy(
|
||||
spread: np.ndarray, dx: np.ndarray, dy: np.ndarray, bins: np.ndarray,
|
||||
bit_active: int, min_score: float, greediness: float,
|
||||
) -> np.ndarray:
|
||||
"""Score bitmap con early-exit greedy. Per coarse-pass aggressivo.
|
||||
|
||||
Non applica rescore background: usare quando la scena ha basso clutter
|
||||
o quando si vuole mass-prune varianti via top-level rapidamente.
|
||||
"""
|
||||
if HAS_NUMBA and len(dx) > 0:
|
||||
return _jit_score_bitmap_greedy(
|
||||
np.ascontiguousarray(spread, dtype=np.uint8),
|
||||
np.ascontiguousarray(dx, dtype=np.int32),
|
||||
np.ascontiguousarray(dy, dtype=np.int32),
|
||||
np.ascontiguousarray(bins, dtype=np.int8),
|
||||
np.uint8(bit_active),
|
||||
np.float32(min_score), np.float32(greediness),
|
||||
)
|
||||
# Fallback: kernel base senza early-exit
|
||||
return score_bitmap(spread, dx, dy, bins, bit_active)
|
||||
|
||||
|
||||
def top_max_per_variant(
|
||||
spread: np.ndarray,
|
||||
dx_list: list, dy_list: list, bin_list: list,
|
||||
bg_per_scale: dict,
|
||||
variant_scales: list,
|
||||
bit_active: int,
|
||||
) -> np.ndarray:
|
||||
"""Wrapper: prepara buffer flat e chiama kernel batch su tutte le varianti.
|
||||
|
||||
Parallelismo Numba prange-esterno sulle varianti (n_vars >> n_threads
|
||||
tipicamente per top-pruning) → meglio del thread-pool Python che paga
|
||||
overhead di n_vars chiamate JIT separate.
|
||||
"""
|
||||
if not HAS_NUMBA or len(dx_list) == 0:
|
||||
return np.array([], dtype=np.float32)
|
||||
n_vars = len(dx_list)
|
||||
sizes = [len(d) for d in dx_list]
|
||||
offsets = np.zeros(n_vars + 1, dtype=np.int32)
|
||||
offsets[1:] = np.cumsum(sizes)
|
||||
total = int(offsets[-1])
|
||||
dx_flat = np.empty(total, dtype=np.int32)
|
||||
dy_flat = np.empty(total, dtype=np.int32)
|
||||
bins_flat = np.empty(total, dtype=np.int8)
|
||||
for vi, (dx, dy, bn) in enumerate(zip(dx_list, dy_list, bin_list)):
|
||||
i0 = int(offsets[vi]); i1 = int(offsets[vi + 1])
|
||||
dx_flat[i0:i1] = dx
|
||||
dy_flat[i0:i1] = dy
|
||||
bins_flat[i0:i1] = bn
|
||||
# bg per variante: indicizzato per scala
|
||||
scales_unique = sorted(bg_per_scale.keys())
|
||||
scale_to_idx = {s: i for i, s in enumerate(scales_unique)}
|
||||
H, W = spread.shape
|
||||
bg_pv = np.empty((len(scales_unique), H, W), dtype=np.float32)
|
||||
for s, idx in scale_to_idx.items():
|
||||
bg_pv[idx] = bg_per_scale[s]
|
||||
scale_idx = np.array(
|
||||
[scale_to_idx[s] for s in variant_scales], dtype=np.int32,
|
||||
)
|
||||
return _jit_top_max_per_variant(
|
||||
np.ascontiguousarray(spread, dtype=np.uint8),
|
||||
dx_flat, dy_flat, bins_flat, offsets, np.uint8(bit_active),
|
||||
bg_pv, scale_idx,
|
||||
)
|
||||
|
||||
|
||||
_HAS_NP_BITCOUNT = hasattr(np, "bitwise_count")
|
||||
|
||||
|
||||
def popcount_density(spread: np.ndarray) -> np.ndarray:
|
||||
"""Conta bit set per pixel.
|
||||
|
||||
Order:
|
||||
1) Numba JIT parallel (preferito: piu veloce su 1080p, 0.5ms vs 1.6ms)
|
||||
2) numpy.bitwise_count (NumPy 2.0+, SIMD ma single-thread)
|
||||
3) Fallback numpy bit-shift puro
|
||||
"""
|
||||
spread_c = np.ascontiguousarray(spread, dtype=np.uint8)
|
||||
if HAS_NUMBA:
|
||||
return _jit_popcount_density(np.ascontiguousarray(spread, dtype=np.uint8))
|
||||
# Fallback
|
||||
return _jit_popcount_density(spread_c)
|
||||
if _HAS_NP_BITCOUNT:
|
||||
return np.bitwise_count(spread_c).astype(np.float32, copy=False)
|
||||
H, W = spread.shape
|
||||
out = np.zeros((H, W), dtype=np.float32)
|
||||
for b in range(8):
|
||||
|
||||
+26
-5
@@ -152,14 +152,27 @@ def _cache_key(template_bgr: np.ndarray, mask: np.ndarray | None) -> str:
|
||||
return h.hexdigest()
|
||||
|
||||
|
||||
def auto_tune(template_bgr: np.ndarray, mask: np.ndarray | None = None) -> dict:
|
||||
def auto_tune(
|
||||
template_bgr: np.ndarray,
|
||||
mask: np.ndarray | None = None,
|
||||
angle_tolerance_deg: float | None = None,
|
||||
angle_center_deg: float = 0.0,
|
||||
) -> dict:
|
||||
"""Analizza template e ritorna dict parametri suggeriti.
|
||||
|
||||
Chiavi compatibili con edit_params PARAM_SCHEMA.
|
||||
|
||||
angle_tolerance_deg: se != None, restringe angle_range a
|
||||
(center - tol, center + tol). Usare quando l'orientamento del
|
||||
pezzo e' noto a priori (feeder con guida, posizionamento
|
||||
meccanico): training molto piu rapido (24x meno varianti per
|
||||
tol=15° vs 360° pieno).
|
||||
|
||||
Risultato cachato in-memory (LRU): ri-chiamare con stessa ROI è O(1).
|
||||
"""
|
||||
ck = _cache_key(template_bgr, mask)
|
||||
if angle_tolerance_deg is not None:
|
||||
ck = f"{ck}|tol={angle_tolerance_deg}|c={angle_center_deg}"
|
||||
cached = _TUNE_CACHE.get(ck)
|
||||
if cached is not None:
|
||||
_TUNE_CACHE.move_to_end(ck)
|
||||
@@ -208,7 +221,12 @@ def auto_tune(template_bgr: np.ndarray, mask: np.ndarray | None = None) -> dict:
|
||||
# spread_radius proporzionale a risoluzione + pyramid (tolleranza ~1% dim)
|
||||
spread_radius = int(np.clip(max(3, min_side * 0.02), 3, 8))
|
||||
|
||||
# angle range ridotto se simmetria rotazionale
|
||||
# angle range: priorita' a tolerance hint utente, poi simmetria rotazionale.
|
||||
if angle_tolerance_deg is not None:
|
||||
angle_min = float(angle_center_deg - angle_tolerance_deg)
|
||||
angle_max = float(angle_center_deg + angle_tolerance_deg)
|
||||
else:
|
||||
angle_min = 0.0
|
||||
angle_max = 360.0 / sym["order"] if sym["order"] > 1 else 360.0
|
||||
|
||||
# min_score: se entropia orient alta → template distintivo → soglia alta ok
|
||||
@@ -220,12 +238,15 @@ def auto_tune(template_bgr: np.ndarray, mask: np.ndarray | None = None) -> dict:
|
||||
else:
|
||||
min_score = 0.45
|
||||
|
||||
# angle step: 5° default; se simmetria, mantengo step ma range ridotto
|
||||
angle_step = 5.0
|
||||
# angle step adattivo (Halcon-style): atan(2/max_side) deg, clampato.
|
||||
# Template grande → step fine (rotazione minima visibile su perimetro).
|
||||
# Template piccolo → step grosso (over-sampling = sprecato).
|
||||
max_side = max(h, w)
|
||||
angle_step = float(np.clip(np.degrees(np.arctan2(2.0, max_side)), 1.0, 8.0))
|
||||
|
||||
result = {
|
||||
"backend": "line",
|
||||
"angle_min": 0.0,
|
||||
"angle_min": angle_min,
|
||||
"angle_max": angle_max,
|
||||
"angle_step": angle_step,
|
||||
"scale_min": 1.0,
|
||||
|
||||
+349
-19
@@ -40,6 +40,8 @@ from pm2d._jit_kernels import (
|
||||
score_by_shift as _jit_score_by_shift,
|
||||
score_bitmap as _jit_score_bitmap,
|
||||
score_bitmap_rescored as _jit_score_bitmap_rescored,
|
||||
score_bitmap_greedy as _jit_score_bitmap_greedy,
|
||||
top_max_per_variant as _jit_top_max_per_variant,
|
||||
popcount_density as _jit_popcount,
|
||||
HAS_NUMBA,
|
||||
)
|
||||
@@ -190,6 +192,26 @@ class LineShapeMatcher:
|
||||
np.array(picked_y, np.int32),
|
||||
np.array(picked_b, np.int8))
|
||||
|
||||
def set_angle_range_around(
|
||||
self, center_deg: float, tolerance_deg: float,
|
||||
) -> None:
|
||||
"""Restringe angle_range a (center - tol, center + tol).
|
||||
|
||||
Comodo helper per scenari in cui l'orientamento del pezzo e'
|
||||
noto a priori entro ±tolerance_deg (es. feeder vibrante con
|
||||
guida meccanica). Riduce drasticamente le varianti generate
|
||||
in train(): es. ±15° vs 360° = 24x meno varianti, training
|
||||
e matching molto piu veloci.
|
||||
|
||||
Esempio:
|
||||
m.set_angle_range_around(0, 20) # cerca solo in [-20, +20]
|
||||
m.train(template)
|
||||
"""
|
||||
self.angle_range_deg = (
|
||||
float(center_deg - tolerance_deg),
|
||||
float(center_deg + tolerance_deg),
|
||||
)
|
||||
|
||||
def _scale_list(self) -> list[float]:
|
||||
s0, s1 = self.scale_range
|
||||
if s0 >= s1 or self.scale_step <= 0:
|
||||
@@ -197,12 +219,31 @@ class LineShapeMatcher:
|
||||
n = int(np.floor((s1 - s0) / self.scale_step)) + 1
|
||||
return [float(s0 + i * self.scale_step) for i in range(n)]
|
||||
|
||||
def _auto_angle_step(self) -> float:
|
||||
"""Step angolare derivato da dimensione template (Halcon-style).
|
||||
|
||||
Formula: step ≈ atan(2 / max_side) gradi. Garantisce che la
|
||||
rotazione minima produca uno spostamento di ≥2 px sul perimetro
|
||||
del template (sotto sample il matching coarse perde candidati).
|
||||
Clampato in [0.5°, 10°].
|
||||
"""
|
||||
max_side = max(self.template_size) if self.template_size != (0, 0) else 64
|
||||
step = math.degrees(math.atan2(2.0, float(max_side)))
|
||||
return float(np.clip(step, 0.5, 10.0))
|
||||
|
||||
def _effective_angle_step(self) -> float:
|
||||
"""Risolve angle_step_deg gestendo modalità auto (<=0)."""
|
||||
if self.angle_step_deg <= 0:
|
||||
return self._auto_angle_step()
|
||||
return self.angle_step_deg
|
||||
|
||||
def _angle_list(self) -> list[float]:
|
||||
a0, a1 = self.angle_range_deg
|
||||
if self.angle_step_deg <= 0 or a0 >= a1:
|
||||
step = self._effective_angle_step()
|
||||
if step <= 0 or a0 >= a1:
|
||||
return [float(a0)]
|
||||
n = int(np.floor((a1 - a0) / self.angle_step_deg))
|
||||
return [float(a0 + i * self.angle_step_deg) for i in range(n)]
|
||||
n = int(np.floor((a1 - a0) / step))
|
||||
return [float(a0 + i * step) for i in range(n)]
|
||||
|
||||
# --- Training ------------------------------------------------------
|
||||
|
||||
@@ -239,6 +280,8 @@ class LineShapeMatcher:
|
||||
self._train_mask = mask_full.copy()
|
||||
|
||||
self.variants.clear()
|
||||
# Invalida cache feature di refine: il template e cambiato.
|
||||
self._refine_feat_cache = {}
|
||||
for s in self._scale_list():
|
||||
sw = max(16, int(round(w * s)))
|
||||
sh = max(16, int(round(h * s)))
|
||||
@@ -293,8 +336,42 @@ class LineShapeMatcher:
|
||||
kh=kh, kw=kw,
|
||||
cx_local=float(cx_local), cy_local=float(cy_local),
|
||||
))
|
||||
self._dedup_variants()
|
||||
return len(self.variants)
|
||||
|
||||
def _dedup_variants(self) -> int:
|
||||
"""Rimuove varianti con feature-set identico (post-quantizzazione).
|
||||
|
||||
Halcon-style: con angle range = (0, 360) e simmetrie del template,
|
||||
molte rotazioni producono lo stesso set quantizzato di feature.
|
||||
Es: quadrato a 0/90/180/270 deg → stesse features (modulo permutazione).
|
||||
Hash su feature ordinate (livello 0, full-res) elimina i duplicati.
|
||||
|
||||
Vantaggio: meno varianti = meno chiamate kernel JIT al top-level
|
||||
senza perdere copertura angolare effettiva. Per template asimmetrici
|
||||
non rimuove nulla.
|
||||
"""
|
||||
seen: dict[bytes, int] = {}
|
||||
kept: list[_Variant] = []
|
||||
removed = 0
|
||||
for var in self.variants:
|
||||
lvl0 = var.levels[0]
|
||||
order = np.lexsort((lvl0.bin, lvl0.dy, lvl0.dx))
|
||||
key = (
|
||||
lvl0.dx[order].tobytes()
|
||||
+ b"|" + lvl0.dy[order].tobytes()
|
||||
+ b"|" + lvl0.bin[order].tobytes()
|
||||
+ b"|" + str(round(var.scale, 4)).encode()
|
||||
)
|
||||
h = key # diretto, senza hash crypto (collision ok solo se identici)
|
||||
if h in seen:
|
||||
removed += 1
|
||||
continue
|
||||
seen[h] = len(kept)
|
||||
kept.append(var)
|
||||
self.variants = kept
|
||||
return removed
|
||||
|
||||
# --- Matching ------------------------------------------------------
|
||||
|
||||
def _response_map(self, gray: np.ndarray) -> np.ndarray:
|
||||
@@ -393,6 +470,108 @@ class LineShapeMatcher:
|
||||
oy = float(np.clip(oy, -0.5, 0.5))
|
||||
return x + ox, y + oy
|
||||
|
||||
def _refine_pose_joint(
|
||||
self,
|
||||
spread0: np.ndarray,
|
||||
template_gray: np.ndarray,
|
||||
cx: float, cy: float,
|
||||
angle_deg: float, scale: float,
|
||||
mask_full: np.ndarray,
|
||||
max_iter: int = 24,
|
||||
tol: float = 1e-3,
|
||||
) -> tuple[float, float, float, float]:
|
||||
"""Refine congiunto (cx, cy, angle) via Nelder-Mead 3D.
|
||||
|
||||
Ottimizza simultaneamente posizione e angolo (vs golden search 1D
|
||||
sull'angolo poi quadratico 2D su xy che alterna assi). Halcon-style:
|
||||
un singolo iter LM stila il match a precisione sub-pixel + sub-step.
|
||||
Ritorna (angle, score, cx, cy) dove score e quello calcolato sulla
|
||||
scena spread (no template gray).
|
||||
"""
|
||||
h, w = template_gray.shape
|
||||
sw = max(16, int(round(w * scale)))
|
||||
sh = max(16, int(round(h * scale)))
|
||||
gray_s = cv2.resize(template_gray, (sw, sh), interpolation=cv2.INTER_LINEAR)
|
||||
mask_s = cv2.resize(mask_full, (sw, sh), interpolation=cv2.INTER_NEAREST)
|
||||
diag = int(np.ceil(np.hypot(sh, sw))) + 6
|
||||
py = (diag - sh) // 2; px = (diag - sw) // 2
|
||||
gray_p = cv2.copyMakeBorder(gray_s, py, diag - sh - py, px, diag - sw - px,
|
||||
cv2.BORDER_REPLICATE)
|
||||
mask_p = cv2.copyMakeBorder(mask_s, py, diag - sh - py, px, diag - sw - px,
|
||||
cv2.BORDER_CONSTANT, value=0)
|
||||
center = (diag / 2.0, diag / 2.0)
|
||||
H, W = spread0.shape
|
||||
|
||||
def _score(params: tuple[float, float, float]) -> float:
|
||||
ddx, ddy, dang = params
|
||||
ang = angle_deg + dang
|
||||
M = cv2.getRotationMatrix2D(center, ang, 1.0)
|
||||
gray_r = cv2.warpAffine(gray_p, M, (diag, diag),
|
||||
flags=cv2.INTER_LINEAR,
|
||||
borderMode=cv2.BORDER_REPLICATE)
|
||||
mask_r = cv2.warpAffine(mask_p, M, (diag, diag),
|
||||
flags=cv2.INTER_NEAREST, borderValue=0)
|
||||
mag, bins = self._gradient(gray_r)
|
||||
fx, fy, fb = self._extract_features(mag, bins, mask_r)
|
||||
if len(fx) < 8:
|
||||
return 0.0
|
||||
cxe = cx + ddx; cye = cy + ddy
|
||||
ix = int(round(cxe)); iy = int(round(cye))
|
||||
tot = 0
|
||||
valid = 0
|
||||
for i in range(len(fx)):
|
||||
xs = ix + int(fx[i] - center[0])
|
||||
ys = iy + int(fy[i] - center[1])
|
||||
if 0 <= xs < W and 0 <= ys < H:
|
||||
bit = np.uint8(1 << int(fb[i]))
|
||||
if spread0[ys, xs] & bit:
|
||||
tot += 1
|
||||
valid += 1
|
||||
return -float(tot) / max(1, valid) # minimize -score
|
||||
|
||||
# Nelder-Mead 3D inline (no scipy). Simplex iniziale: vertice + offset
|
||||
# dx=±0.5px, dy=±0.5px, dθ=±step/2.
|
||||
step_a = self.angle_step_deg / 2.0 if self.angle_step_deg > 0 else 1.0
|
||||
x0 = np.array([0.0, 0.0, 0.0])
|
||||
simplex = np.array([
|
||||
x0,
|
||||
x0 + [0.5, 0.0, 0.0],
|
||||
x0 + [0.0, 0.5, 0.0],
|
||||
x0 + [0.0, 0.0, step_a],
|
||||
])
|
||||
fvals = np.array([_score(tuple(s)) for s in simplex])
|
||||
for _ in range(max_iter):
|
||||
order = np.argsort(fvals)
|
||||
simplex = simplex[order]; fvals = fvals[order]
|
||||
if abs(fvals[-1] - fvals[0]) < tol:
|
||||
break
|
||||
centroid = simplex[:-1].mean(axis=0)
|
||||
xr = centroid + 1.0 * (centroid - simplex[-1])
|
||||
fr = _score(tuple(xr))
|
||||
if fvals[0] <= fr < fvals[-2]:
|
||||
simplex[-1] = xr; fvals[-1] = fr
|
||||
continue
|
||||
if fr < fvals[0]:
|
||||
xe = centroid + 2.0 * (centroid - simplex[-1])
|
||||
fe = _score(tuple(xe))
|
||||
if fe < fr:
|
||||
simplex[-1] = xe; fvals[-1] = fe
|
||||
else:
|
||||
simplex[-1] = xr; fvals[-1] = fr
|
||||
continue
|
||||
xc = centroid + 0.5 * (simplex[-1] - centroid)
|
||||
fc = _score(tuple(xc))
|
||||
if fc < fvals[-1]:
|
||||
simplex[-1] = xc; fvals[-1] = fc
|
||||
continue
|
||||
for k in range(1, 4):
|
||||
simplex[k] = simplex[0] + 0.5 * (simplex[k] - simplex[0])
|
||||
fvals[k] = _score(tuple(simplex[k]))
|
||||
best_i = int(np.argmin(fvals))
|
||||
ddx, ddy, dang = simplex[best_i]
|
||||
return (angle_deg + float(dang), -float(fvals[best_i]),
|
||||
cx + float(ddx), cy + float(ddy))
|
||||
|
||||
def _refine_angle(
|
||||
self,
|
||||
spread0: np.ndarray, # bitmap uint8 (H, W)
|
||||
@@ -411,11 +590,13 @@ class LineShapeMatcher:
|
||||
l'angolo con score massimo (parabolic fit sulle 3 score centrali).
|
||||
Ritorna (angle_refined, score, cx_refined, cy_refined).
|
||||
"""
|
||||
# Se il match grezzo è già quasi perfetto, NON refinare
|
||||
if original_score is not None and original_score >= 0.99:
|
||||
return (angle_deg, original_score, cx, cy)
|
||||
# NB: rimosso early-skip su score >= 0.99. Lo score linemod/shape
|
||||
# satura facilmente a 1.0 (specie con pyramid_propagate o spread
|
||||
# ampio) ma NON garantisce angolo preciso: l'angolo grezzo della
|
||||
# variante e' quantizzato a multipli di angle_step (5 deg default).
|
||||
# Refine angolare e' essenziale per orientamento sub-step.
|
||||
if search_radius is None:
|
||||
search_radius = self.angle_step_deg / 2.0
|
||||
search_radius = self._effective_angle_step() / 2.0
|
||||
|
||||
h, w = template_gray.shape
|
||||
sw = max(16, int(round(w * scale)))
|
||||
@@ -433,9 +614,24 @@ class LineShapeMatcher:
|
||||
H, W = spread0.shape
|
||||
margin = 3
|
||||
|
||||
# Cache template features per angolo (chiave: int(round(ang*20)) =
|
||||
# bucket di 0.05°). Golden-search ricontratto puo richiedere lo
|
||||
# stesso bucket piu volte; evita re-warp+gradient+extract (costoso).
|
||||
# Cache a livello matcher per riusare tra chiamate find() su scene
|
||||
# diverse: la rotazione del template non dipende dalla scena.
|
||||
if not hasattr(self, '_refine_feat_cache'):
|
||||
self._refine_feat_cache = {}
|
||||
feat_cache = self._refine_feat_cache
|
||||
cache_scale_key = round(scale * 1000)
|
||||
|
||||
def _score_at_angle(off: float) -> tuple[float, float, float]:
|
||||
"""Ritorna (score, best_cx, best_cy) per angolo = angle_deg + off."""
|
||||
ang = angle_deg + off
|
||||
ck = (round(ang * 20), cache_scale_key)
|
||||
cached = feat_cache.get(ck)
|
||||
if cached is not None:
|
||||
fx, fy, fb = cached
|
||||
else:
|
||||
M = cv2.getRotationMatrix2D(center, ang, 1.0)
|
||||
gray_r = cv2.warpAffine(gray_p, M, (diag, diag),
|
||||
flags=cv2.INTER_LINEAR,
|
||||
@@ -444,6 +640,10 @@ class LineShapeMatcher:
|
||||
flags=cv2.INTER_NEAREST, borderValue=0)
|
||||
mag, bins = self._gradient(gray_r)
|
||||
fx, fy, fb = self._extract_features(mag, bins, mask_r)
|
||||
# LRU semplice: limita cache a ~256 angoli (8 angoli * 32 candidati)
|
||||
if len(feat_cache) > 256:
|
||||
feat_cache.pop(next(iter(feat_cache)))
|
||||
feat_cache[ck] = (fx, fy, fb)
|
||||
if len(fx) < 8:
|
||||
return (0.0, cx, cy)
|
||||
dx = (fx - center[0]).astype(np.int32)
|
||||
@@ -572,9 +772,16 @@ class LineShapeMatcher:
|
||||
subpixel: bool = True,
|
||||
verify_ncc: bool = True,
|
||||
verify_threshold: float = 0.4,
|
||||
ncc_skip_above: float = 1.01, # disabilitato di default: NCC sempre
|
||||
coarse_angle_factor: int = 2,
|
||||
coarse_stride: int = 1,
|
||||
scale_penalty: float = 0.0,
|
||||
search_roi: tuple[int, int, int, int] | None = None,
|
||||
pyramid_propagate: bool = False, # off di default: meno duplicati
|
||||
propagate_topk: int = 4,
|
||||
refine_pose_joint: bool = False,
|
||||
greediness: float = 0.0,
|
||||
batch_top: bool = False,
|
||||
) -> list[Match]:
|
||||
"""
|
||||
scale_penalty: se > 0, riduce lo score per match a scala diversa da 1.0:
|
||||
@@ -582,11 +789,30 @@ class LineShapeMatcher:
|
||||
Utile se l'operatore vuole che match "identico al template anche per
|
||||
dimensione" abbia score più alto di match "stessa forma, dimensione
|
||||
diversa". scale_penalty=0 (default) = comportamento shape puro.
|
||||
|
||||
search_roi: (x, y, w, h) limita la ricerca a una regione della scena.
|
||||
Equivalente a Halcon set_aoi: il matching opera su crop locale e le
|
||||
coordinate output sono ri-traslate al sistema scena originale. Usare
|
||||
quando si conosce a priori l'area in cui il pezzo può apparire (es.
|
||||
feeder a posizione fissa) → costo proporzionale a w·h invece di W·H.
|
||||
"""
|
||||
if not self.variants:
|
||||
raise RuntimeError("Matcher non addestrato: chiamare train() prima.")
|
||||
|
||||
gray0 = self._to_gray(scene_bgr)
|
||||
gray_full = self._to_gray(scene_bgr)
|
||||
# Applica ROI di ricerca: restringe scena a crop, ricorda offset per
|
||||
# ri-traslare le coordinate dei match a fine pipeline.
|
||||
if search_roi is not None:
|
||||
rx, ry, rw, rh = search_roi
|
||||
H_s, W_s = gray_full.shape
|
||||
rx = max(0, int(rx)); ry = max(0, int(ry))
|
||||
rw = max(1, min(int(rw), W_s - rx))
|
||||
rh = max(1, min(int(rh), H_s - ry))
|
||||
gray0 = gray_full[ry:ry + rh, rx:rx + rw]
|
||||
roi_offset = (rx, ry)
|
||||
else:
|
||||
gray0 = gray_full
|
||||
roi_offset = (0, 0)
|
||||
grays = [gray0]
|
||||
for _ in range(self.pyramid_levels - 1):
|
||||
grays.append(cv2.pyrDown(grays[-1]))
|
||||
@@ -646,22 +872,66 @@ class LineShapeMatcher:
|
||||
end = min(n, i + half + 1)
|
||||
neighbor_map[vi_c] = vi_sorted[start:end]
|
||||
|
||||
# Pruning varianti via top-level (parallelizzato) - solo coarse.
|
||||
# coarse_stride > 1: valuta solo 1 pixel ogni stride, ~stride² speed-up.
|
||||
# Pruning varianti via top-level (parallelizzato).
|
||||
# coarse_stride > 1: 1 pixel ogni stride (~stride^2 speed-up).
|
||||
# pyramid_propagate=True: top-K picchi per restringere full-res.
|
||||
# greediness > 0: kernel greedy con early-exit (alternativo a rescore).
|
||||
cs = max(1, int(coarse_stride))
|
||||
peaks_by_vi: dict[int, list[tuple[int, int, float]]] = {}
|
||||
use_greedy_top = greediness > 0.0
|
||||
|
||||
def _top_score(vi: int) -> tuple[int, float]:
|
||||
var = self.variants[vi]
|
||||
lvl = var.levels[min(top, len(var.levels) - 1)]
|
||||
if use_greedy_top:
|
||||
# Greedy non supporta stride né rescore bg
|
||||
score = _jit_score_bitmap_greedy(
|
||||
spread_top, lvl.dx, lvl.dy, lvl.bin, bit_active_top,
|
||||
top_thresh, greediness,
|
||||
)
|
||||
else:
|
||||
score = _jit_score_bitmap_rescored(
|
||||
spread_top, lvl.dx, lvl.dy, lvl.bin, bit_active_top,
|
||||
bg_cache_top[var.scale], stride=cs,
|
||||
)
|
||||
return vi, float(score.max()) if score.size else -1.0
|
||||
if score.size == 0:
|
||||
return vi, -1.0
|
||||
best = float(score.max())
|
||||
if pyramid_propagate and best > 0:
|
||||
flat = score.ravel()
|
||||
k = min(propagate_topk, flat.size)
|
||||
idx = np.argpartition(-flat, k - 1)[:k]
|
||||
peaks: list[tuple[int, int, float]] = []
|
||||
for i in idx:
|
||||
s = float(flat[i])
|
||||
if s < top_thresh * 0.7:
|
||||
continue
|
||||
yt, xt = int(i // score.shape[1]), int(i % score.shape[1])
|
||||
peaks.append((xt, yt, s))
|
||||
peaks_by_vi[vi] = peaks
|
||||
return vi, best
|
||||
|
||||
kept_coarse: list[tuple[int, float]] = []
|
||||
all_top_scores: list[tuple[int, float]] = []
|
||||
if self.n_threads > 1 and len(coarse_idx_list) > 1:
|
||||
# batch_top: usa kernel batch single-call con prange-esterno su
|
||||
# varianti. Vince su threadpool quando n_vars >> n_threads e quando
|
||||
# H*W top e' piccolo (overhead chiamate JIT > costo kernel).
|
||||
if (batch_top and HAS_NUMBA and len(coarse_idx_list) > 4):
|
||||
dx_l = []; dy_l = []; bn_l = []; vs_l = []
|
||||
for vi in coarse_idx_list:
|
||||
var = self.variants[vi]
|
||||
lvl = var.levels[min(top, len(var.levels) - 1)]
|
||||
dx_l.append(lvl.dx); dy_l.append(lvl.dy); bn_l.append(lvl.bin)
|
||||
vs_l.append(var.scale)
|
||||
scores_arr = _jit_top_max_per_variant(
|
||||
spread_top, dx_l, dy_l, bn_l, bg_cache_top, vs_l,
|
||||
bit_active_top,
|
||||
)
|
||||
for vi, best in zip(coarse_idx_list, scores_arr.tolist()):
|
||||
all_top_scores.append((vi, best))
|
||||
if best >= top_thresh:
|
||||
kept_coarse.append((vi, best))
|
||||
elif self.n_threads > 1 and len(coarse_idx_list) > 1:
|
||||
with ThreadPoolExecutor(max_workers=self.n_threads) as ex:
|
||||
for vi, best in ex.map(_top_score, coarse_idx_list):
|
||||
all_top_scores.append((vi, best))
|
||||
@@ -717,14 +987,48 @@ class LineShapeMatcher:
|
||||
for sc in unique_scales:
|
||||
bg_cache_full[sc] = _bg_for_scale(density_full, sc, 1)
|
||||
|
||||
# Margine in full-res attorno ad ogni peak top: copre incertezza
|
||||
# downsampling (sf_top px) + spread_radius + slack per NMS.
|
||||
propagate_margin = sf_top + self.spread_radius + max(8, nms_radius // 2)
|
||||
H_full, W_full = spread0.shape
|
||||
|
||||
def _full_score(vi: int) -> tuple[int, np.ndarray]:
|
||||
var = self.variants[vi]
|
||||
lvl0 = var.levels[0]
|
||||
score = _jit_score_bitmap_rescored(
|
||||
if not pyramid_propagate or vi not in peaks_by_vi or not peaks_by_vi[vi]:
|
||||
# Path legacy: scansiona intera scena
|
||||
return vi, _jit_score_bitmap_rescored(
|
||||
spread0, lvl0.dx, lvl0.dy, lvl0.bin, bit_active_full,
|
||||
bg_cache_full[var.scale],
|
||||
)
|
||||
return vi, score
|
||||
# Path piramide propagata: valuta solo crop locali attorno
|
||||
# alle posizioni dei picchi top-level (riproiettati a full-res).
|
||||
score_full = np.zeros((H_full, W_full), dtype=np.float32)
|
||||
mark = np.zeros((H_full, W_full), dtype=bool)
|
||||
bg = bg_cache_full[var.scale]
|
||||
for xt, yt, _s in peaks_by_vi[vi]:
|
||||
cx0 = xt * sf_top
|
||||
cy0 = yt * sf_top
|
||||
x_lo = max(0, cx0 - propagate_margin)
|
||||
x_hi = min(W_full, cx0 + propagate_margin + 1)
|
||||
y_lo = max(0, cy0 - propagate_margin)
|
||||
y_hi = min(H_full, cy0 + propagate_margin + 1)
|
||||
if x_hi <= x_lo or y_hi <= y_lo:
|
||||
continue
|
||||
if mark[y_lo:y_hi, x_lo:x_hi].all():
|
||||
continue
|
||||
# Crop spread + bg, valuta kernel sul crop
|
||||
spread_crop = np.ascontiguousarray(spread0[y_lo:y_hi, x_lo:x_hi])
|
||||
bg_crop = np.ascontiguousarray(bg[y_lo:y_hi, x_lo:x_hi])
|
||||
score_crop = _jit_score_bitmap_rescored(
|
||||
spread_crop, lvl0.dx, lvl0.dy, lvl0.bin,
|
||||
bit_active_full, bg_crop,
|
||||
)
|
||||
score_full[y_lo:y_hi, x_lo:x_hi] = np.maximum(
|
||||
score_full[y_lo:y_hi, x_lo:x_hi], score_crop,
|
||||
)
|
||||
mark[y_lo:y_hi, x_lo:x_hi] = True
|
||||
return vi, score_full
|
||||
|
||||
candidates_per_var: list[tuple[int, np.ndarray]] = []
|
||||
raw: list[tuple[float, int, int, int]] = []
|
||||
@@ -802,28 +1106,54 @@ class LineShapeMatcher:
|
||||
var = self.variants[vi]
|
||||
ang_f = var.angle_deg
|
||||
score_f = score
|
||||
if refine_angle and self.template_gray is not None:
|
||||
if refine_pose_joint and self.template_gray is not None:
|
||||
ang_f, score_f, cx_f, cy_f = self._refine_pose_joint(
|
||||
spread0, self.template_gray, cx_f, cy_f,
|
||||
var.angle_deg, var.scale, mask_full,
|
||||
)
|
||||
elif refine_angle and self.template_gray is not None:
|
||||
ang_f, score_f, cx_f, cy_f = self._refine_angle(
|
||||
spread0, bit_active_full, self.template_gray, cx_f, cy_f,
|
||||
var.angle_deg, var.scale, mask_full,
|
||||
search_radius=self.angle_step_deg / 2.0,
|
||||
search_radius=self._effective_angle_step() / 2.0,
|
||||
original_score=score,
|
||||
)
|
||||
if verify_ncc:
|
||||
# NCC verify (Halcon-style): se ncc_skip_above < 1.0 salta
|
||||
# il calcolo per shape-score gia alti. Default 1.01 = NCC sempre,
|
||||
# piu sicuro contro falsi positivi (lo shape-score satura facile).
|
||||
# Quando NCC viene calcolato, lo score finale e' la MEDIA tra
|
||||
# shape-score e NCC: rende lo score piu discriminante per
|
||||
# ranking/visualizzazione (uno score 1.0 vero richiede sia
|
||||
# match shape sia template gray identici).
|
||||
if verify_ncc and float(score_f) < ncc_skip_above:
|
||||
ncc = self._verify_ncc(gray0, cx_f, cy_f, ang_f, var.scale)
|
||||
if ncc < verify_threshold:
|
||||
continue
|
||||
score_f = (float(score_f) + max(0.0, ncc)) * 0.5
|
||||
|
||||
# Ri-traslo coord da spazio crop ROI a spazio scena originale.
|
||||
cx_out = cx_f + roi_offset[0]
|
||||
cy_out = cy_f + roi_offset[1]
|
||||
poly = _oriented_bbox_polygon(
|
||||
cx_f, cy_f, tw * var.scale, th * var.scale, ang_f,
|
||||
cx_out, cy_out, tw * var.scale, th * var.scale, ang_f,
|
||||
)
|
||||
# Penalità scala opzionale: score degrada con distanza da 1.0
|
||||
if scale_penalty > 0.0 and var.scale != 1.0:
|
||||
score_f = float(score_f) * max(
|
||||
0.0, 1.0 - scale_penalty * abs(var.scale - 1.0)
|
||||
)
|
||||
# NMS post-refine: refine puo spostare il match di nms_radius;
|
||||
# ricontrollo overlap su match gia accettati per evitare
|
||||
# duplicati (stesso oggetto trovato da varianti angolari diverse).
|
||||
dup = False
|
||||
for k in kept:
|
||||
if (k.cx - cx_out) ** 2 + (k.cy - cy_out) ** 2 < r2:
|
||||
dup = True
|
||||
break
|
||||
if dup:
|
||||
continue
|
||||
kept.append(Match(
|
||||
cx=cx_f, cy=cy_f,
|
||||
cx=cx_out, cy=cy_out,
|
||||
angle_deg=ang_f,
|
||||
scale=var.scale,
|
||||
score=score_f,
|
||||
|
||||
Reference in New Issue
Block a user