Sv Community El Salvador

Soporte y Tecnología => OS => Window$ => Mensaje iniciado por: tekun en octubre 19, 2015, 09:46:09 am

Título: Necesito un sistema de almacenamiento de 74 TB
Publicado por: tekun en octubre 19, 2015, 09:46:09 am
hey colochos... necesito asesoría...

tengo un sistema que necesito respaldar y necesito por lo menos 74TB que sean compatibles con win7 64bits.... como lo hago? hay algún hardware que me de eso?, un software? que?¿?¿..

nunca he llegado a tales necesidades, por eso es que simplemente no se por donde iniciar? que puedo utilizar para llegar a tener un total de espacio disponible de 74TB, que pueda ver como unidad de disco en win7? esto último es importante... obviamente no es necesario que sea un solo disco, pueden ser unos 5 de 15 aprox

gracias!
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: Osiris Strife en octubre 19, 2015, 09:51:55 am
hey colochos... necesito asesoría...

tengo un sistema que necesito respaldar y necesito por lo menos 74TB que sean compatibles con win7 64bits.... como lo hago? hay algún hardware que me de eso?, un software? que?¿?¿..

nunca he llegado a tales necesidades, por eso es que simplemente no se por donde iniciar? que puedo utilizar para llegar a tener un total de espacio disponible de 74TB, que pueda ver como unidad de disco en win7? esto último es importante... obviamente no es necesario que sea un solo disco, pueden ser unos 5 de 15 aprox

gracias!


Una consulta, que tipo de datos necesitas respaldar? (imagenes, texto, documentos, maquinas virtuales, bases de datos)

Cuantas copias vas a guardar de estos datos?

Saludos.
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: mxgxw en octubre 19, 2015, 10:07:59 am
hey colochos... necesito asesoría...

tengo un sistema que necesito respaldar y necesito por lo menos 74TB que sean compatibles con win7 64bits.... como lo hago? hay algún hardware que me de eso?, un software? que?¿?¿..

nunca he llegado a tales necesidades, por eso es que simplemente no se por donde iniciar? que puedo utilizar para llegar a tener un total de espacio disponible de 74TB, que pueda ver como unidad de disco en win7? esto último es importante... obviamente no es necesario que sea un solo disco, pueden ser unos 5 de 15 aprox

gracias!


La buena noticia es que no necesitas re-inventar la rueda. Lo que necesitas es un NAS.

Ponele que este PowerVault con 12 discos NLSAS de 4TB c/u (48TB Total) anda costando ~$12,000 USD es decir que si quisieras almacenar 74TB de datos necesitarias 2 de esos así que hacete la idea de una inversión aproximada de unos $25,000USD solo en hardware.

http://configure.us.dell.com/dellstore/config.aspx?oc=pv_nx3330_1060&model_id=powervault-nx&c=us&l=en&s=bsd&cs=04 (http://configure.us.dell.com/dellstore/config.aspx?oc=pv_nx3330_1060&model_id=powervault-nx&c=us&l=en&s=bsd&cs=04)

Y ojo... que serían 96TB teóricos realmente sería menos según la configuración RAID de los discos y el tipo de sistema de archivos.

Encima de eso (si usas Windows) deberías de crear un DFS con los distintos NAS que tengas activos, aquí hay un poco de info http://blogs.technet.com/b/josebda/archive/2009/03/10/the-basics-of-the-windows-server-2008-distributed-file-system-dfs.aspx (http://blogs.technet.com/b/josebda/archive/2009/03/10/the-basics-of-the-windows-server-2008-distributed-file-system-dfs.aspx)

También tomá en consideración que tenes infraestructura en sitio. Al menos necesitas alguna tu fuente redundante un UPS profesional, etc, etc. Si no queres que vaya a paso de tortuga tenes que tener Gigabit ethernet o fibre channel y cosas así, etc, etc, etc.

Una ves tenes el NAS montado y funcionando podes intentar algo como esto:

http://serverfault.com/questions/108193/mount-network-drive-as-physical-drive (http://serverfault.com/questions/108193/mount-network-drive-as-physical-drive)

Código: [Seleccionar]
mklink /D C:\LinkName \NetworkLocation\LocationName

Pero como podrás ver en los comentarios no es demasiado buena idea. Si la aplicación no tiene soporte directo para volumenes en red, si bien podes hacerle creer que está en el sistema de archivos local, si algo llegara a pasar que la red falle o que simplemente algo no salga bien, podrías estar en serios problemas.

Si necesitas algo realmente distribuido y escalable casi que solo te quedas con soliciones OpenSource como esta:

https://en.wikipedia.org/wiki/GlusterFS (https://en.wikipedia.org/wiki/GlusterFS)

Aunque para que lo detecte windows podría ser algo engorroso por lo que leo ya que tendrías que establecer el sistema de archivos distribuido y una vez hecho distribuir sobre samba o algo así.
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: tekun en octubre 19, 2015, 11:31:06 am
Una consulta, que tipo de datos necesitas respaldar? (imagenes, texto, documentos, maquinas virtuales, bases de datos)
son videos.... cuantas copias? ya en ese espacio esta considerado todo.


hey Gracias mxgxw.... $25,000.00 es demasiado alto, sin tomar en cuenta que aún así no serían los 74TB...

es que la unidad de riesgos esta con la pila de almacenar los videos en alta resolución y necesito un panorama claro de lo que eso significa en cuanto a hardware y precios... ya con lo que me has dicho, tengo suficiente para mandarlos a la shit.... tan locos XD

gracias nuevamente!
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: lagartoman en octubre 19, 2015, 11:42:27 am
Tenes la opción también de adquirir unos 2 NAS por parte de SYNOLOGY. Especificamente un DS 2415+.

La interfaz de trabajo es bien amigable con el usuario y podes definir políticas entre muchas otras cosas. Es muy buena solución para lo que querés

Te estaría constando unos $10,000. mas o menos. Teniendo en cuenta la compra de discos para nas certificados o unos enterprise. Todo depende de tu presupuesto.
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: Osiris Strife en octubre 19, 2015, 11:59:50 am
Yo estoy en el negocio de almacenamiento y te puedo decir que por esa cantidad de data estarias gastando mas o menos unos 50k-70k y usando disco de alta densidad aka 4TB.

Saludos.
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: gaa en octubre 19, 2015, 12:51:30 pm
hey colochos... necesito asesoría...

tengo un sistema que necesito respaldar y necesito por lo menos 74TB que sean compatibles con win7 64bits.... como lo hago? hay algún hardware que me de eso?, un software? que?¿?¿..

nunca he llegado a tales necesidades, por eso es que simplemente no se por donde iniciar? que puedo utilizar para llegar a tener un total de espacio disponible de 74TB, que pueda ver como unidad de disco en win7? esto último es importante... obviamente no es necesario que sea un solo disco, pueden ser unos 5 de 15 aprox

gracias!

el disco de 3tb esta en $126
comprando 30 de estos discos duros te salen en $3780
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: brother en octubre 19, 2015, 01:10:16 pm
Google photos  :yao_ming: Espacio ilimitado hasta 1080p
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: salvadoresc en octubre 19, 2015, 01:13:14 pm
si son videos no seria viable subirlos a youtube? asi no te preocupas por almacenamiento solo por ancho de banda
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: g00mba en octubre 19, 2015, 01:21:25 pm
el disco de 3tb esta en $126
comprando 30 de estos discos duros te salen en $3780
si te das cuenta que el asunto de instalar un NAS fiable con un minimo de redundancia es un poco mas complicado que saber cuantos discos duros de 3 teras suman 75 verdad?
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: mxgxw en octubre 19, 2015, 01:33:29 pm
son videos.... cuantas copias? ya en ese espacio esta considerado todo.


hey Gracias mxgxw.... $25,000.00 es demasiado alto, sin tomar en cuenta que aún así no serían los 74TB...

es que la unidad de riesgos esta con la pila de almacenar los videos en alta resolución y necesito un panorama claro de lo que eso significa en cuanto a hardware y precios... ya con lo que me has dicho, tengo suficiente para mandarlos a la shit.... tan locos XD

gracias nuevamente!

Nombre si esa es la gracia. Que guarden una versión de la bilblioteca en baja resolución para consulta que puede estar en un array local, con una configuración RAID podes tener un repo local de varios TB de tamaño con hardware barato. Y por separado podes tener respaldos offline catalogados en discos duros hot-swap o algo así.

Digo eso bajo la premisa que el 99% del tiempo me iamgino que solo quieren poder acceder el video rápido para ver que contiene y ya cuando hagan la edición o algo puede ir a buscar el disco duro correspondiente, conectarlo y extraer el/los originales en que estan interesados.

Con algo de codigo incluso podrías semi-automatizar el proceso (porque pues... alguien tiene que conectar el disco para sacar el original jejeje)

Es lo más "low-cost" que se me ocurre sin conocer más del caso específico de uso.
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: tekun en octubre 19, 2015, 01:42:30 pm
si son videos no seria viable subirlos a youtube? asi no te preocupas por almacenamiento solo por ancho de banda

no aplica!



pues yo ya me imaginaba que un NAS de 74TB no iva a ser barato, pero necesitaba un argumento válido y de peso para no solo decir "yo creo que sale caro" XD.... estoy redactando el correo para la unidad de riesgos y mandarlos a la shit...

yo les dije que necesitamos bajar el bitrate y los fps, para lograrlo algo barato... cumpliendo con el requerimiento de calidad...la máxima configuración genera un archivo de 10min con un espacio de 365MB, lo que es una locura.....



Nombre si esa es la gracia. Que guarden una versión de la bilblioteca en baja resolución para consulta que puede estar en un array local, con una configuración RAID podes tener un repo local de varios TB de tamaño con hardware barato. Y por separado podes tener respaldos offline catalogados en discos duros hot-swap o algo así.

Digo eso bajo la premisa que el 99% del tiempo me iamgino que solo quieren poder acceder el video rápido para ver que contiene y ya cuando hagan la edición o algo puede ir a buscar el disco duro correspondiente, conectarlo y extraer el/los originales en que estan interesados.

Con algo de codigo incluso podrías semi-automatizar el proceso (porque pues... alguien tiene que conectar el disco para sacar el original jejeje)

Es lo más "low-cost" que se me ocurre sin conocer más del caso específico de uso.

ahuevo, un NAS es un poco elevado para los videos, pues se verán on-demand; que veo factible sacar un disco de 4TB cuando este full para que siga el otro... acá andaría mas cerca el precio que puso gaa, de 4K por los 30 discos de 4TB...



BTW

osiris: talvez me mandas datos de tu empresa por mp porque también tengo en mi plan de trabajo un respaldo de laptops que hacer, donde necesito unas cotizaciones y una empresa que de el servicio, un NAS a pequeña escala

Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: nivelon en octubre 19, 2015, 02:36:01 pm
subilos a Dropbox  :D
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: g00mba en octubre 19, 2015, 02:45:51 pm
subilos a Dropbox  :D
(http://3.bp.blogspot.com/-yleEs15g51w/TlrawTwZSrI/AAAAAAAABQY/gnyx4k2pzcQ/s400/tommy-lee-jones-implied-face-palm.png)
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: thebest en octubre 19, 2015, 03:28:37 pm
(http://3.bp.blogspot.com/-yleEs15g51w/TlrawTwZSrI/AAAAAAAABQY/gnyx4k2pzcQ/s400/tommy-lee-jones-implied-face-palm.png)
esa imagen lo dice todo  :yao_ming:
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: hkadejo en octubre 19, 2015, 03:33:23 pm
¿En pleno 2015 soy el unico que penso en la todo poderosa nubecita?

https://aws.amazon.com/es/glacier/ (https://aws.amazon.com/es/glacier/)
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: nivelon en octubre 19, 2015, 03:47:43 pm
(http://3.bp.blogspot.com/-yleEs15g51w/TlrawTwZSrI/AAAAAAAABQY/gnyx4k2pzcQ/s400/tommy-lee-jones-implied-face-palm.png)

esa imagen lo dice todo  :yao_ming:

no se entendió mi sarcasmo...  x_x
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: salvadoresc en octubre 19, 2015, 04:03:28 pm
¿En pleno 2015 soy el unico que penso en la todo poderosa nubecita?

https://aws.amazon.com/es/glacier/ (https://aws.amazon.com/es/glacier/)
pareciera que no le interesa yo le sugeria youtube
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: SDK en octubre 19, 2015, 04:43:44 pm
¿En pleno 2015 soy el unico que penso en la todo poderosa nubecita?

https://aws.amazon.com/es/glacier/ (https://aws.amazon.com/es/glacier/)

Si con los 20 Gbps de internet le saldria perfecto.
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: mxgxw en octubre 19, 2015, 04:47:03 pm
¿En pleno 2015 soy el unico que penso en la todo poderosa nubecita?

https://aws.amazon.com/es/glacier/ (https://aws.amazon.com/es/glacier/)

Claro con nuestras conexiones de fibra óptica de 100Gbps al backbone de internet y la fiabilidad del 99.9999% de los proveedores de internet locales es una opción genial tener datos de varios cientos de megas disponibles en la nube para acceso bajo-demanda sin ninguna compresión.

:facepalm:
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: SDK en octubre 19, 2015, 04:50:08 pm
100 Gbps es algo exagerado pero es igual de exagerado subir 75 TB con un internet de 2 Megas Upload max en el pais en unos cuantos años se subirían.
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: salvadoresc en octubre 19, 2015, 04:59:52 pm
pero por lo que el menciona no los va a subir todos de un vergazo... pero al final da igual seguir discutiendo eso, aunque no lo menciono asi de especificamente, el quiere tener los archivos localmente y fin del asunto.
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: mxgxw en octubre 19, 2015, 05:05:41 pm
pero por lo que el menciona no los va a subir todos de un vergazo... pero al final da igual seguir discutiendo eso, aunque no lo menciono asi de especificamente, el quiere tener los archivos localmente y fin del asunto.

No, pero los quieren disponibles bajo demanda en formato RAW. Ahora.. Como dije si se comprimen la nube podría ser una opción, pero si el requerimiento de acceso RAW es mentira la nube no es una opción.

Nube = Hype y Marketing....

Si en realidad necesitan acceder a una base de datos así de mounstruosa como repositorio local creo que el hype no te da para tanto.
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: tekun en octubre 19, 2015, 05:14:51 pm
pues la parte esencial de la solución de hkdejo no es tan descabella, como la de youtube, que apesar de ser un servicio similar, para mi requerimiento es pésimo...

pero para los videos que ando buscando almacenar, ni amazon ni youtube me funcionan....

... es que necesito almacenar videos, donde los máximo que llegare a tener son 74TB de espacio, mas arriba de eso nada... y será constante esa cantidad, ni menos ni más....ahi me mantendré, es decir que al llegar a ese valor, eliminare los mas antiguos para seguir metiendo nuevos... y así sucesivamente...


pero Amazon, para respaldo de información de laptop, esta muy atractivo y barato!..por eso le deje el thankYou a hkadejo
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: Pattyxoxo en octubre 19, 2015, 05:18:48 pm
talves algo asi? $21k eso en 50TB o compras dos o expandes ese y  mas la traida es quizas de lo mas comodo
http://www.aberdeeninc.com/abcatg/NAS885LX.htm (http://www.aberdeeninc.com/abcatg/NAS885LX.htm)

aun la recomendacion inclusive no es tenerlo todo en un solo asi que bien podes ir con 2 de 50 o 3 de 25. asi si algo va mal no perdes todo de un solo sopeton  :thumbsup: :thumbsup:
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: hkadejo en octubre 19, 2015, 05:27:40 pm
Claro con nuestras conexiones de fibra óptica de 100Gbps al backbone de internet y la fiabilidad del 99.9999% de los proveedores de internet locales es una opción genial tener datos de varios cientos de megas disponibles en la nube para acceso bajo-demanda sin ninguna compresión.

:facepalm:

Me imagino que montar toda la infraestructura para tener el backup de 75TB considerando redundancia, espacio, seguridad, plan de contingencia en caso de incendio, terremoto, cualquier calamidad y pagarle a la gente que de soporte y mantenga dicha infraestructura y la haga crecer y sea escalable es mas facil realizar con los medios y tecnologia y recursos en nuestro pais....ahh si y asegurando una disponibilidad de los datos en un 99.9999999% de tiempo. Claro ha de ser mas facil, rapido y barato :facepalm:

No existen soluciones buenas, bonitas y baratas...por regla sabemos que se pueden cumplir dos sacrificando la tercera.

Si bien te doy la razon que el internet cacazo de este pais haga dificil en ciertos momentos el acceso de los datos desde la nube, no podes negar las ventajas, facilidades y costos que ofrece dicha solucion.

Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: mxgxw en octubre 19, 2015, 06:32:45 pm
Me imagino que montar toda la infraestructura para tener el backup de 75TB considerando redundancia, espacio, seguridad, plan de contingencia en caso de incendio, terremoto, cualquier calamidad y pagarle a la gente que de soporte y mantenga dicha infraestructura y la haga crecer y sea escalable es mas facil realizar con los medios y tecnologia y recursos en nuestro pais....ahh si y asegurando una disponibilidad de los datos en un 99.9999999% de tiempo. Claro ha de ser mas facil, rapido y barato :facepalm:

No existen soluciones buenas, bonitas y baratas...por regla sabemos que se pueden cumplir dos sacrificando la tercera.

Si bien te doy la razon que el internet cacazo de este pais haga dificil en ciertos momentos el acceso de los datos desde la nube, no podes negar las ventajas, facilidades y costos que ofrece dicha solucion.



¡Claro! Y por eso le ofrecimos un NAS. Porque requiere una solución que le permita ver videos en formato RAW, local y con latencia baja. El día que vos me digás que una solución cloud-hosted te puede dar ancho de banda suficiente y latencia lo suficientemente baja como para que la solución sea práctica te digo, está bien.. Es una opción.

Además, el otro problema es el costo recurrente. La nube es genial cuando tenes que, 5,000, 10,000 clientes accediendo desde zonas geográficas diferentes al contenido. Pero cuando tenes que servir contenido a 10 pelones de pronto el costo por GB se recupera más fácilmente en invertir en infraestructura que estar pagando un servicio super-premium hospedado en quiensabedonde.

Con lo del servicio 99.999999% de la nube. Me extraña hkadejo, vos sabes bien que la fiabilidad del sistema se mide por el mas débil de sus componentes. Aunque la nube te garantice disponibilididad 99.999999999999% si tu conexión internet llega a duras penas a 90% de confiabilidad. Tu SISTEMA tiene 90% de CONFIABILIDAD lo veás por donde lo veás.

Ahora si es una solución mixta, contenido en baja resolución/comprimido para consultar rápida y un repositorio local con los RAWs bueno ahí si podría la nube ser muy útil para el repositorio en línea.

Por cierto te cuento, Amazon ahora ofrece servicio de envío de datos vía discos duros vía correos para almacenarlos en sus servidores en la nube. Porque ellos saben bien que nadie tiene la paciencia para subir cientos de TB de datos de un solo a una "cloud-hosted solution".
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: ericks en octubre 20, 2015, 08:48:57 am
Bajo windows 7 para poder manejar 74 TB nunca lo he visto, en el trabajo tenemos una SAN pero se administra en windows server 2008 datacenter , aun asi solo se pueden mostrar a los servidores particiones de 16 TB cada una, para almacenar la cantidad de terabites que necesitas tiene que ser un sistemas NAS como el recomendado por mxgxw o una SAN o un hibrido, en todo caso estas implementaciones necesitan sistemas mas potentes que windows 7, sin embargo seria de probar pero tienes que tomar en cuenta lo siguiente,1  la pc o servidor tiene que soportar UEFI en la BIOS, luego tienes  que convertirlo a GPT, NTFS por defecto solo soporta hasta 16 TB nativos y versiones anteriores solo soportan hasta 2TB bajo NTFS, luego que el sistema windows tenga la configuracion para poder ver particiones de gran volumen viene la parte Fisica osea la SAN o la NAS.
para mayor info sobre GPT y su configuracion te dejo este link.
https://msdn.microsoft.com/en-us/library/windows/hardware/dn640535(v=vs.85).aspx#gpt_faq_what_is (https://msdn.microsoft.com/en-us/library/windows/hardware/dn640535(v=vs.85).aspx#gpt_faq_what_is)
En todo caso manejar este volumen de informacion requeriria un dispositivo que maneje ese volumen de Terabites, para lo cual seria mejor asesorarse con los distribuidores locales de soluciones para servidores, por ende en todo caso la solcion siempre incurrira en una inversion algo grande $.
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: Maitro... en octubre 20, 2015, 02:28:29 pm
hey colochos... necesito asesoría...

tengo un sistema que necesito respaldar y necesito por lo menos 74TB que sean compatibles con win7 64bits.... como lo hago? hay algún hardware que me de eso?, un software? que?¿?¿..

nunca he llegado a tales necesidades, por eso es que simplemente no se por donde iniciar? que puedo utilizar para llegar a tener un total de espacio disponible de 74TB, que pueda ver como unidad de disco en win7? esto último es importante... obviamente no es necesario que sea un solo disco, pueden ser unos 5 de 15 aprox

gracias!


Leí tu problema y a la carrera pensé en una solución que según mis cálculos podría funcionar, habría que analizarla a fondo para ver si es viable o no, o si existe alguna limitante.

Ingredientes:
- OpenFiler
- Disco para instalar OS
- Discos de 4TB
- CPU (con capacidad de conectar al menos 6 discos)



Descripción breve de la solución propuesta

Cada equipo debería usar una configuración como esta:

Un disco para instalar OpenFiler y 5 para configurarlos en RAID 5

https://www.youtube.com/watch?v=DojYksbhMqc (https://www.youtube.com/watch?v=DojYksbhMqc)

5 HDDs de 4TB c/u = 19TB Mas o menos 16TB Mas o menos

Creas un iSCSI Target

https://www.youtube.com/watch?v=M-ps75Ob2p4 (https://www.youtube.com/watch?v=M-ps75Ob2p4)


Luego, en Windows lo conectas con el Iniciador iSCSI y ya tendrias un disco de 19TB 16TB ya en windows 7
https://www.youtube.com/watch?v=3ynAXNyDAzA (https://www.youtube.com/watch?v=3ynAXNyDAzA)



Para cubrir la necesidad que tenes bien podrías usar 5 equipos con esa configuración y obtendrías 5 discos de 19TB 16TB con lo cual estarías muy cerca de tu objetivo


OJO, no olvidar uno o varios UPS (en linea o doble conversión en linea) de varios KVA para proteger los equipos


EDIT: Tenia un error de calculo en el RAID
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: g00mba en octubre 20, 2015, 03:06:14 pm
...
la solucion calle al problema. pero solucion tambien.  :yao_ming:
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: Necrolancer en octubre 20, 2015, 04:52:32 pm
la solucion calle al problema. pero solucion tambien.  :yao_ming:

si funciona no es gaban.
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: g00mba en octubre 20, 2015, 05:02:11 pm
si funciona no es gaban.
si funciona pero esta lejos de ser la solucion ideal. no tenes en cuenta fuentes de poder con redundancia, no es optimo en espacio utilizado, no usa discos de nivel empresarial, no tiene un solo pool de recursos sino que 4 separados... etc etc etc. no incluye soporte, es la solucion barata, no la mejor. es como la mara que tiene "servidores" que solo son computadoras comunes y vulgares haciendo las veces de servidor.
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: Necrolancer en octubre 20, 2015, 05:12:53 pm
si funciona pero esta lejos de ser la solucion ideal. no tenes en cuenta fuentes de poder con redundancia, no es optimo en espacio utilizado, no usa discos de nivel empresarial, no tiene un solo pool de recursos sino que 4 separados... etc etc etc. no incluye soporte, es la solucion barata, no la mejor. es como la mara que tiene "servidores" que solo son computadoras comunes y vulgares haciendo las veces de servidor.

ah puesi pero al presupuesto que le tienen, eso que hablas vos puede llegar facil a 50k.
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: g00mba en octubre 20, 2015, 05:19:11 pm
ah puesi pero al presupuesto que le tienen, eso que hablas vos puede llegar facil a 50k.
el problema necrotrolo, esque ese dinero que vos ves aparentemente no se paga, SIEMPRE se termina pagando y con intereses, generalmente en tiempo, problemas, frustracion y esfuerzo por parte de la gente del departamento, en downtime, etc etc etc.

aqui un vergo de gente te va a decir que nambe chele si eso no hace falta, pero es porque nunca han tocado equipo empresarial y creen que el pisto extra "solo es de plante", sin embargo hay un VERGO pero VERGO de tecnologias de grado empresarial que mucha gente mal entrenada en IT no toma en cuenta porque... como hay equivalentes en maquinas de escritorio... asumen que todo es igual.
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: Necrolancer en octubre 20, 2015, 05:29:06 pm
el problema necrotrolo, esque ese dinero que vos ves aparentemente no se paga, SIEMPRE se termina pagando y con intereses, generalmente en tiempo, problemas, frustracion y esfuerzo por parte de la gente del departamento, en downtime, etc etc etc.

aqui un vergo de gente te va a decir que nambe chele si eso no hace falta, pero es porque nunca han tocado equipo empresarial y creen que el pisto extra "solo es de plante", sin embargo hay un VERGO pero VERGO de tecnologias de grado empresarial que mucha gente mal entrenada en IT no toma en cuenta porque... como hay equivalentes en maquinas de escritorio... asumen que todo es igual.

Esta bien pues , pero como en todas las cosas, obtenes lo que pagas. Y si el presupuesto es limitado puede ser una solucion.

Sin embargo tenes razon que es sumamente riesgoso pero esta interesante la solucion talvez para informacion menos invaluable.



Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: g00mba en octubre 20, 2015, 05:31:54 pm
Esta bien pues , pero como en todas las cosas, obtenes lo que pagas. Y si el presupuesto es limitado puede ser una solucion.

Sin embargo tenes razon que es sumamente riesgoso pero esta interesante la solucion talvez para informacion menos invaluable.
no si yo soy un gran aficionado a las ondas custom y me llega estar de travieso pues pero ya comprometer a una empresa a tus experimentos como que no es muy profesional pues, todavia en software y jugar con software libre en la empresa lo apoyo, pero ya hardware... ese ya es otro pisto.
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: demerak en octubre 20, 2015, 10:27:47 pm
pues tu necesitas una san amigo...

un nas no te recomiendo.. por que es mejor una san , en la san tenemos un procesador que mejora tu rendimiento y asi otro sin fin de cosas....

por que... por eso en los bancos o grandes empresas que tienen transacciones fluctuantes utilizan una san.. y no un nas..

el nas es para respaldar data en mi pensar... incluso siempre prefiero una san... solo q no te alcance el presupuesto a pues ni modo.


adquiere la en >>>>>>  http://www.ssasis.com/

te puedo pasar el contacto de varios proveedores.. pero tu me diras.

Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: G1r3D en octubre 20, 2015, 11:09:14 pm
eMule, Geocities?

No será mejor guardar los videos en Video Tape?
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: g00mba en octubre 21, 2015, 01:39:24 am
Actualmente el Internet Archive (el Wayback Machine) ya funciona como un servicio de nube o más bien de hosting básico para archivos estáticos, con almacenamiento y tiempo ilimitado para los links de dichos archivos.

Simplemente hay que registrarse en http://www.archive.org/ (http://www.archive.org/) y comenzar a subir los archivos.

Después se puede vincular directamente a archivos HTML, imágenes, archivos ISO/ZIP/RAR/TAR, archivos de texto, etc...



Yo pienso usarlo para subir mis casi 600 DVDs, todas las descargas que vaya haciendo de eMule, todo el contenido irreemplazable de archivos personales de mi casa, el escaneo de mis libros, y por supuesto, una copia estática de mi sitio para llegar a referenciar más contenido en el Wayback Machine que en mi propia computadora (aunque siempre teniendo respaldos), y así poder tener un sitio web base y un servidor portable que no sobrepase de 8 a 16 Gigabytes para ser capaz de controlar el resto de contenido masivo:


Es una gran opción tomando en cuenta que es absolutamente gratis así que todo queda permanentemente archivado por todos los años que uno desee a menos que uno mismo elimine manualmente lo que haya subido.

Parece que por ahora las piezas (de ZIPs, RARs, TARs, GZIPs, BZIPs, BZIP2s) pueden ser de hasta 10 Gigabytes.

Además se puede hacer un hosting muy simple de páginas HTML en una interfaz muy similar a la de Geocities para darle forma a un sitio web estático junto con todos los Gigabytes (o Terabytes) que uno tenga para ofrecer.

eMule, Geocities?

No será mejor guardar los videos en Video Tape?
que loqueras estan hablando ustedes par de sobados?
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: salvadoresc en octubre 21, 2015, 07:25:55 am
...
aunque en este caso, creo que no es como que van a estar revisando todos los videos a cada rato, por lo que dijo tekun son camaras de vigilancia asi que asumo que solo revisarian los backups si se presenta alguna denuncia o algo por el estilo... asi que talves en este caso si podrian ellos sacrificar la disponibilidad por el costo, aunque eso creo que lo puede aclarar mejor tekun.
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: hkadejo en octubre 21, 2015, 08:04:16 am
Actualmente el Internet Archive (el Wayback Machine) ya funciona como un servicio de nube o más bien de hosting básico para archivos estáticos, con almacenamiento y tiempo ilimitado para los links de dichos archivos.

Simplemente hay que registrarse en http://www.archive.org/ (http://www.archive.org/) y comenzar a subir los archivos.
(http://archive.org/download/devel.archefire.org/img/archive.org_register.png)

Después se puede vincular directamente a archivos HTML, imágenes, archivos ISO/ZIP/RAR/TAR, archivos de texto, etc...



Yo pienso usarlo para subir mis casi 600 DVDs, todas las descargas que vaya haciendo de eMule, todo el contenido irreemplazable de archivos personales de mi casa, el escaneo de mis libros, y por supuesto, una copia estática de mi sitio para llegar a referenciar más contenido en el Wayback Machine que en mi propia computadora (aunque siempre teniendo respaldos), y así poder tener un sitio web base y un servidor portable que no sobrepase de 8 a 16 Gigabytes para ser capaz de controlar el resto de contenido masivo:

http://archive.org/details/devel.archefire.org/ (http://archive.org/details/devel.archefire.org/)


Es una gran opción tomando en cuenta que es absolutamente gratis así que todo queda permanentemente archivado por todos los años que uno desee a menos que uno mismo elimine manualmente lo que haya subido.

Parece que por ahora las piezas (de ZIPs, RARs, TARs, GZIPs, BZIPs, BZIP2s) pueden ser de hasta 10 Gigabytes.

Además se puede hacer un hosting muy simple de páginas HTML en una interfaz muy similar a la de Geocities para darle forma a un sitio web estático junto con todos los Gigabytes (o Terabytes) que uno tenga para ofrecer.

¿Me imagino que una empresa no va a querer que toda su informacion privada quede en libre circulacion y descarga en Internet o si?
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: g00mba en octubre 21, 2015, 09:03:48 am
¿Me imagino que una empresa no va a querer que toda su informacion privada quede en libre circulacion y descarga en Internet o si?
<~>hey pero el conocimiento tiene que ser libre voh osea, todo libre y gratis como mi conocimiento adquirido por experimentacion durante meses que me dedico a descargar las estupideces mas absurdas con nula utilidad practica. yo creo que de aqui al 2095 ya tengo las bases de un servidor de archivos creado en assembler super optimizado para procesadores 286, va a ser tan paloma que va a poder almacenar en particiones FAT16.</~>
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: tekun en octubre 21, 2015, 09:22:39 am
quizá creen que videos anime quiero respaldar.... el almacenamiento es de baja latencia como dijo mxgxw, pero no quiero respaldar manga, puedo sacrificar disponibilidad por costos, pero hay buen financiamiento, dejen de dar recomendaciones amateur...

he echo un par de ajustes a los videos con el ffmpeg, por ser muy robusto y a base de consola, tiene un gran potencial para cosas automáticas...

mañana tengo reunion con el comité de riesgos, auditoria y la mazizada... porque yo sigo con la idea que los 74TB es una estupidez... pero ni modo, me toco preguntarles por esa solución...

cuantos K$$ les voy a salir ahorrando a esta mara :p no agradecen...

Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: XtremeH en octubre 21, 2015, 09:28:36 am
quizá creen que videos anime quiero respaldar.... el almacenamiento es de baja latencia como dijo mxgxw, pero no quiero respaldar manga, puedo sacrificar disponibilidad por costos, pero hay buen financiamiento, dejen de dar recomendaciones amateur...

he echo un par de ajustes a los videos con el ffmpeg, por ser muy robusto y a base de consola, tiene un gran potencial para cosas automáticas...

mañana tengo reunion con el comité de riesgos, auditoria y la mazizada... porque yo sigo con la idea que los 74TB es una estupidez... pero ni modo, me toco preguntarles por esa solución...

cuantos K$$ les voy a salir ahorrando a esta mara :p no agradecen...


Pero es que, saliéndome un poco del huacal, también la gente de riesgos tiene su razón en solicitar eso. He trabajado con algunas personas que trabajan en la parte de riesgos, y todas esas son políticas/solicitudes que quizás a nuestra forma de ver son un desperdicio, pero si lo ves desde una perspectiva distinta, como por ejemplo que tengas a alguien dentro que se esté hueveando la información confidencial, o algo así; en ese sentido, sí vale la pena tener un sistema como esos...
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: g00mba en octubre 21, 2015, 09:31:41 am
quizá creen que videos anime quiero respaldar.... el almacenamiento es de baja latencia como dijo mxgxw, pero no quiero respaldar manga, puedo sacrificar disponibilidad por costos, pero hay buen financiamiento, dejen de dar recomendaciones amateur...

he echo un par de ajustes a los videos con el ffmpeg, por ser muy robusto y a base de consola, tiene un gran potencial para cosas automáticas...

mañana tengo reunion con el comité de riesgos, auditoria y la mazizada... porque yo sigo con la idea que los 74TB es una estupidez... pero ni modo, me toco preguntarles por esa solución...

cuantos K$$ les voy a salir ahorrando a esta mara :p no agradecen...



mira lo primero que tenes que explicarles es el concepto del SLA (Service Level Agreement) que la solucion va a tener, leete al respecto. segundo, antes de armar cualquier m!erda tambien tienen que tener una politica de retencion de datos. tienen que tener un lapso de tiempo razonable en que los videos se retienen. es estupido estar almacenando videos a lo loco. a menos que esten comprando almacenamiento de aqui al infinito, SIEMPRE lo van a topar. no es razonable. lo que la mayoria de empresas hacen es que su politica dice que retienen videos de dos a tres meses, algunos mantienen seis meses en areas criticas o de seguridad importantisima. put@ men ni el NSA mantiene registros infinitos.

y con estos majes recomendando ondas amateur... men aqui hay un vergo de gente que nunca ha visto un blade, o un rack, recomiendan hasta donde les alcanza y realmente no ven la diferencia entre la empresa formal y un cyber cafe. osea no los culpo pues, yo tambien asi era antes de meterme a cosas empresariales. pero si seria bueno que entendieran la diferencia.

Pero es que, saliéndome un poco del huacal, también la gente de riesgos tiene su razón en solicitar eso. He trabajado con algunas personas que trabajan en la parte de riesgos, y todas esas son políticas/solicitudes que quizás a nuestra forma de ver son un desperdicio, pero si lo ves desde una perspectiva distinta, como por ejemplo que tengas a alguien dentro que se esté hueveando la información confidencial, o algo así; en ese sentido, sí vale la pena tener un sistema como esos...
si men pero el trabajo de tekun es identificar su verdadera necesidad, bajarlos de la nube y plantearles expectativas RAZONABLES. por eso es primordial establecer un SLA del sistema de almacenamiento y una politica que gobierne los datos.
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: XtremeH en octubre 21, 2015, 09:44:30 am
si men pero el trabajo de tekun es identificar su verdadera necesidad, bajarlos de la nube y plantearles expectativas RAZONABLES. por eso es primordial establecer un SLA del sistema de almacenamiento y una politica que gobierne los datos.
Deacuerdo. No he conocido todavía el caso de alguna empresa que haya requerido tanto espacio para video. Incluso, una vez trabajé con una empresa que guardaba videos en HD de los últimos 3 meses, y luego de eso, los videos más antiguos se iban trasladando a cinta con una resolución normal. Y así tenían a la mano sólo los 3 últimos meses, y lo demás siempre lo tenían guardado pero en la nevera.
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: mxgxw en octubre 21, 2015, 09:47:11 am
si men pero el trabajo de tekun es identificar su verdadera necesidad, bajarlos de la nube y plantearles expectativas RAZONABLES. por eso es primordial establecer un SLA del sistema de almacenamiento y una politica que gobierne los datos.

Pues claro, pero la pregunta clave que hace falta es: ¿Cuánto dinero esperan invertir?

Yo ya me acostumbre a recibir solicitudes astrales y cuando les pregunto ¿cuánto es el presupuesto? Se quedan así con cara de... Ehhh ¿Y que nos iba a costar dinero?

Cuando ya les mostrás que su idea de guardar 75TB de video RAW en un NAS/SAN les va a costar $50,000K y se dan cuenta que su presupuesto se queda corto ya te dicen... ¿Y cuanto se puede hacer por la mitad de dinero?

Y ahi es donde uno tiene que mostrar opciones... Que podría ser guardar los archivos en formato comprimido (con buena calidad) para consulta rápida y tener un servidor de backups más modesto con esas copias. Y como vos bien decis... dejarles claro lo que se puede lograr y la clase de servicio que pueden obtener con el presupuesto que tienen.

Lo que pasa y debo decirlo... es que muchos informáticos no saben negociar y a los administrativos les hablas con dinero, costos, tiempos. Una cosa es decirles miren necesitamos establecer un SLA y políticas de retención de datos... Y otra cosa es miren hacerlo como ustedes han solicitado cuesta X, pero si antes nos dedicamos a definir bien nuestro SLA y una política de retección de datos (como guardar datos por X meses) podemos utilizar una solución que cuesta X-Y y que podría servirles para lo que quieren hacer.
Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: Osiris Strife en octubre 21, 2015, 10:59:49 am
Para abonar un poco al tema.

En algún momento hablaron de un SAN en vez de NAS para este tipo de requerimiento. Realmente yo veo una NAS en este requerimiento del Tekun, ya que entiendo los vídeos deben ser accedidos  desde cualquier parte de la red y sin necesidad de usar mas equipo que la red en si. En cambio una SAN necesitas adaptadores especiales en cada uno de los equipos que verán la data (ISCSI, HBA, etc) y te diré que no son nada baratos.

Adicionalmente las NAS SI TIENEN poder de procesamiento y usualmente un sistema operativo optimizado para esa función como tal, de igual manera una NAS convencional tiene la restricción de únicamente poder manejar filesystem de hasta 16TB de capacidad, ya si necesitas ver una sola unidad logica en red lo que vos necesitas es una NAS a gran escala (Escale-Out NAS) para poder manejar filesystem de tamaños que van en la orden de los PB.

Como un ultimo comentario, cuando ya hablamos de mas de 30TB de requerimiento para guardar información a nivel empresarial, se recomienda considerar un equipo enterprise.

Saludos.

Título: Re:Necesito un sistema de almacenamiento de 74 TB
Publicado por: tekun en octubre 21, 2015, 05:57:07 pm
lo que se tiene es un acuerdo de la Junta directiva, donde se acuerda mantener la información por X meses, solo eso.... el problema es que se ha cambiado el sistema en general y se ha incrementado cantidad de cámaras, eso causo un incremento en la calidad de los videos y a la vez incremento el espacio necesitado para dar cumplimiento al Acuerdo.... que es donde estamos ahora...

ahora, lo que el acuerdo no posee es la calidad o resolución de los videos(bitrate/fps), solo la cantidad de meses, ahi es donde esta la discusión que tendré... obviamente no estare hablando carburo de que cambien el acuerdo, sino que aclarar que sin la necesidad de procesar los videos y no dejarlos RAW es la solución más sencilla.... y no digo económica porque esta gente no anda con pobrezas a la hora de adquirir equipo software/hardware... pero igual, p$$ta gastar 40K cuando se puede con 1K a cualquiera aunque tenga pisto le gustaría....

todo porque en el sistema anterior, los videos en RAW con la cantidad anterior de cámaras, el almacenamiento hasta se pasaba de lo acordado por la Junta.


yo creo que puedo ir dando por cerrado el tema... gracias a todos por sus buenos comentarios!