No es algo loco, es lo mas normal hacer eso.
Si tenes que prestar atencion al switch con el que estás centralizando el tráfico, no por que "vas a quemar los puertos", pero si podes provocar cuellos de botella.
Si cada cámara consume 3-5Mpbs (asumiendo una resolución 30 FPS a 1080 compresión de 20) , tendrás 40Mbps en cada puerto del switch de 24 puertos, con lo cual requeris un throughput de al menos 320Mbps.