chuza! blog

Organización: […] cantos máis medios acreditados mellor.
Berto: pois nada ho, pon aí chuza.org…

Parece mentira pero pasaron case 2 anos xa dende que chuza se fixo pública. Eu non estaba totalmente seguro de que as mil modificacións, nas que levaba currando case un mes, farían que todo petara, pero ascarida e aranha non paraban de insistir pesadamente por messenger e decidín publicalo a noite do lúns 20 de Febreiro de 2006.

Esta foi a primeira portada pública de chuza, xa había 3 páxinas de novas porque levabamos 15 dias enviando novas e funcionando en probas. Ese 20 de febreiro eramos estes. E hoxe somos máis de 2500 rexistrados.

Moitas gracias a todo o mundo.

Novidades? como sempre: os luns

Ola, aquí berto outro luns con pequenas novidades.

A primeira trátase dunha petición histórica de chuza: o rexistro de eventos de cada historia. E como unha imaxe vale máis de 9000 palabras:

Ben, como xa vedes na imaxe, agora debaixo dos comentarios de cada historia non só se verán as personas que votaron a nova, senon que poderase ver un rexistro co ‘historial’ da nova. De momento gárdanse estes eventos:

• Nova historia: cando se envia a historia.
• Editada: Alguén edita a historia.
• Publicada: Cando a historia pasa a portada.
• Descartada: A historia pasa a descartadas.
• Rescatada: A historia está descartada pero acumula votos para volver a pendentes.

Pois isto é todo sobre o rexistro de eventos, espero que sirva para que se acaben as bullas do tipo: quen me cambiou a url?, quen me corrixiu a ortografía? e demáis ñeñeñés.

Como sempre avisar que durante uns dias esta nova feature está en probas e blablabla… Gracias pola vosa comprensión.

Tamén hoxe foron aplicados os últimos parches de seguridade no Apache e no Mysql da vella Debian Sarge na que leva correndo chuza dende fai case 2 anos e que é stable como un buxo. E por último tamén foi actualizado o xestor de báneres á última versión.

By.

Update 1: Se editas unha nova que non enviache ti agora podes poñer un breve comentario de até 50 car. para explicar porque a editache, cousas como “corrixida ortografía”, “corrixido enlace”, “actualizado link”, caben perfectamente…

Update 2: Agora tamén garda eventos de xeolocalización.

Olas!

Fixen un par de pequenos cambios na edición das historias enviadas:

• A partir de agora cando se edita unha historia non modifica a url orixinal que se xenerou cando que se envia por primeira vez, o obxectivo é manter coherencia para evitar erros de sql e que os buscadores indexen urls que están obsoletas.
• O segundo e máis importante é que os usuarios van poder descartar manualmente as súas propias historias mentres estén en pendentes. Esto é bastante útil para esas veces que enviamos unha duplicada e queremos evitar que non a fundan a negativos se nos damos conta rápido. Nese caso poderíamos pasala automáticamente a descartadas (ver imaxe de abaixo)… Eso si… en descartadas pode serguir levando negativos…
• E por último unha das peticións históricas, o formulario de envio de nova e de edición xa ten un contador abaixo dos caracteres que quedan libres para que non vos pasedes Nota: ten un pequeno bug no reconto dos caracteres na edición de link debido á versión de php do server e os Multibyte strings.

Coma sempre todos estes cambios deberían funcionar pero van estar un tempo en probas e poden dar lugar a comportamentos anómalos en chuza. Losepais.

Recuperado xa do susto de fai uns dias, aquí berto de novo informándovos dunha nova feature en chuza.

Se es usuario activo de chuza é probable que teñas debilidade por furar na información, gardar marcadores, comparar fontes, etc… polo que esta nova función de chuza pode que che pareza interesante. E se non o es pode que tamén: A partir de agora no interior das novas e antes dos comentarios mostraranse novas relacionadas á chuzada en outros sitios, como podedes ver neste exemplo. Creo que co exemplo está bastante claro, pero vamos a ver un pouco como se vai comporta e como está feito usando este pequeno FAQ inventado:

Como está feito así en poucas palabras?

Pois a cousa execútase en 2 servidores, o primeiro (o server de probas de chuza) encárgase de rastrear novas cada media hora en diferentes medios (ver abaixo) e indexalas nunha base de datos mysql e o servidor de chuza cada vez que se mostra unha nova fai unha consulta a ese servidor que devolve as novas relacionadas.

E que medios son os que indexa?

Os medios nos que o sistema busca as novas non son arbitrarios, son os 40 medios que teñen máis relevancia en chuza: ou sexa, que acumulan máis historias chuzadas, é unha lista que comeza así:

1. http://www.lavozdegalicia.es
2. http://www.vieiros.com
3. http://www.elpais.com
4. http://www.galicia-hoxe.com
5. http://www.elcorreogallego.es
6. http://www.20minutos.es
7. http://www.farodevigo.es
8. http://www.gznacion.com
9. http://www.xornal.com
10. http://www.youtube.com
11. http://www.laopinioncoruna.es
12. http://www.elmundo.es
13. http://www.xeracion.com (agora galiciae)
14. http://www.blogoteca.com
15. http://www.codigocero.com
16. http://www.agnix.org
17. http://www.bbc.co.uk
18. http://www.europapress.es
19. http://www.culturagalega.org
20. …

Hai casos flagrantes no ano 2007 como xornal.com que non dispón de RSS polo tanto queda excluído da lista.
Cantas relacionadas mostrará?

Pois vai mostrar ata 10 novas relacionadas, pero so se mostrarán 3 por defecto, para ver o resto haberá que facer clic nun enlace. É así para non cargar de máis a páxina de cada nova.

Son un pouco geek e molaríame saber máis sobre como está feito?

Ben, o servidor que indexa as novas faino nunha táboa de items que ten definidos 2 campos Fulltext de mysql: o titular e a texto da nova. Cada vez que se vai ao interior da nova o servidor de bases de datos de chuza fai unha comparación entre o titular, descrición e tags da nova chuzada e eses campos da base de datos de novas externas e devolve as 10 mellores coincidencias.

Antes de facer a comparación o texto de chuza é procesado para eliminar palabras que non teñen valor nas comparacións e outras leves modificacións. Os resultados que devolve son procesados de novo antes de mostralos na páxina.

Pero se son comparacións textuais, que pasa coas novas que por ser escritas en tal normativa ou tal outra?

Pois que será menos eficiente relacionando novas, igual que cando compara o texto dunha nova en galego con unha fonte en castelán. Pero si, pola natureza das fontes que indexa (están desprazadas cara o castelán) esta nova función é pouco reintegrata-friendly.
E falla moito?

Pois a pesar de ser un proceso automatizado falla máis ben pouco, pero de vez en cando relaciona novas que non teñen nada que ver. Outro erro habitual é que duplica entradas, pero esto xa non é cousa do sistema, é problema dos CMS dos sitios dos que indexa novas: os que crean as novas, cando actualizan, corrixen os erros de cada unha teñen a costume de crear outra nova co texto da primeira, polo tanto cambia o guid no RSS e o sistema xa a considera outra nova, con outra url e outro titulo e outro texto. Contra esto non hai moito que facer máis que esperar que esta práctica acabe.

Como curiosidade, un sitio donde non fan isto é GZnation donde ocurren casos simpáticos como que actualizaran unha nova de fai 2 dias sobre Benazir Bhutto coa morte dela o dia de onte facendo que para o este sistema GZNation publicara a nova da morte de Bhutto horas antes de que morrera. Iso si que é avanzar novas :D.

Tanto unha práctica coma outra están mal: se vas correxir ou engadir información a unha nova ou post non crees outra entrada diferente. E se vas crear unha historia nova, non edites unha anterior.

E todo isto está en probas non?

Pois si, hai varias cousas que quedan por probar no campo de batalla: poderá seguir sendo a tempo real cando a base de datos de novas sexa xigantesca? haberá que incluír algún tipo de control humano (estilo votos) por se a caga moito? … E máis cousas. O sistema este levo probándoo 15 dias e creo que foi suficientemente afinado como para saír a produción, pero segue sendo beta.

Algunha consideración filosófica máis?

Eu coma moita outra xente creo que probablemente as novas máis interesantes en chuza son as que non teñan ningunha nova relacionada, polo menos cando se envíen. Pero tamén é verdá que chuza aliméntase moito de novas que se replican en moitos medios, e isto non é nin máis nin menos que unha ferramenta para axudar no seguimento, ver como se expande unha nova, etc… Pero que a entropía non baixe, seguide chuzando de fontes raras!

Pois nada máis, espero que vos sexa útil.

Ola, aquí Berto posteando dende Villablino a baixo 0. Consigo recuperar conectividade tanto de datos como de voz despois dunha noite baixo a neve en Murias de Paredes. Pero todo esto é outra historia que non ven moito a conto, ao que vamos: onte as 7 da tarde chamoume ascarida informándome que chuza levaba caída dende cerca das 6 da tarde. Ascarida é unha das persoas que ten acceso ao server para recuperalo en caso de problemas deste tipo, pero desta volta non habia forma de conectarse por ssh, nin respondía ao ping nin nada… ascarida dilixentemente fixo todas estas comprobacións ata que decidiu mandar un correo ao soporte da empresa que dá servizo a chuza, que se puxo a investigar o problema. Eu conseguín algo de cobertura 3G antes de chegar a Murias de Paredes e falei con ascarida, que me puxo ao dia dos problemas, xa pasaran case 4 horas de caída e xa me temia o peor: o fallo físico.

A eso das 11:30 da noite ascarida confirmoume as peores previsións: o RAID do servidor petara fisicamente e houbo perda de datos. Horror.

Chuza cada noite a iso das tres e dez da mañá fai unha copia de seguridade da base de datos e do código, eses datos son copiados a outro disco duro que lamentablemente (e por erro gordo meu que non volverá ocorrer) estaba no mesmo RAID que petara. Super-horror.

Só quedaba recuperar o último backup completo do servidor, que por sorte foi da tarde/noite do venres, cousa que fixeron os do soporte durante a noite do sábado e a iso das 5 da mañá chuza volvia responder aos pings e ascarida -despois de pasar a noite en vela tentando manexar a situación e informándome puntualmente de cada avance- encargouse de levantar o servidor web e poñelo a funcionar xusto como estaba a noite do venres.

Só me queda pedir desculpas aos usuarios por este lamentábel erro, pero por outro lado os erros físicos son completamente incontrolábeis e non queda outra que tirar de copia de seguridade, neste caso a perda de datos foi mínima (pouco máis de 24 horas), pero aínda sería menor (sobre 14 horas) no caso de que as copias de seguridade dos datos se replicaran noutro server (cousa que vou facer agora). Ou sexa, que o dia 22 de decembro de 2007 non existiu en chuza, desapareceu completamente e volvemos 24 horas ao pasado. As novas, comentarios, chios, etc… dese dia simplemente non existen a ningun efecto. Síntoo moito se foi ese o dia donde enviaches 4 novas e todas pasaron á portada, ou fixeches o comentario da túa vida, ou… non sei.

Ah, si, outra cousa: Ascarida, you are the fuckin woman. Gracias por manexar esta situación tan ben e facer máis levadeira a miña impotencia perdido en terras de Omaña.

PD: aquí o reporte de mantemento do servidor

Hello.

Unha das cousas que moitas veces critican de chuza é a sequedade textual da portada e das novas en xeral, despois da implementación da xeolocalización os interiores das novas eran un pouco máis coloridos pero aínda asi os mapas non deixaban de ser mapas.

Polo que ao longo de esta última finde estiven probando as posibilidades de que os usuarios asocien unha imaxe ás novas que chuzan, para destacalas, decorar, etc… podería quedar ben. Despois de moito probar, anuncio que xa está disponíbel (en probas) esta nova característica.

Como funciona?

Non é un proceso automático: o usuario que envia ten que escoller a imaxe, seguide lendo:
Ben, non se pode asociar calquera imaxe ás novas de chuza, senon imaxes que existan na web que se envia. O proceso é simple: cando envias unha nova debaixo de donde escolles a categoría verás que hai unha nova sección para esto das imaxes. O primeiro que tes que facer é clicar en Cargar Imaxes, nese momento o servidor de chuza analizará a url enviada e buscará imaxes maiores de 100×100 píxles. Cando acabe de analizar aparecerán unhas miniaturas das imaxes válidas (tal e como se van ver en chuza) e poderás escoller a que queiras asociar. Nada máis. Cando envies a nova esa imaxe aparecerá en pequeno (70×70) nos listados e en grande (120×120) no interior das novas.

Cambiar e borrar a imaxe

Aínda que poderás ver como queda a imaxe na previsualización da nova antes de enviala definitivamente pode que queiras cambiala ou quitala. Para iso so tes que editar a nova que enviache (lembra que so o podes facer durante 1 hora despois do envio se non eres usuario con karma maior que 16). Na edición da nova informaráseche que a historia xa ten unha imaxe asociada e poderás eliminala clicando na caixiña correspondente ou ben escoller outra mediante un proceso exactamente igual que o do envio.

Simple.

Notas, avisos e recordatorios

• Pode que teñades que vaciar a caché dos vosos navegadores para que isto funcione.
• Trátase dun servizo en probas, polo que ás veces pode petar de formas raras. Tamén pode tardar bastante tempo en analizar as páxinas buscando imaxes, de todos modos a min nunca me tardou máis de 30 segundos. En calquera de estas eventualidades por favor dade razón a bertez@gmail.com.
• O sistema presupón que as páxinas que analiza teñen ben metidas as rutas das imaxes e as etiquetas html pero esto non sempre é asi polo que pode ocurrir que ti vexas que na páxina que chuzas hai imaxes que poderían valer pero o sistema non as detecte. Nalgúns casos esto pode arranxarse pero noutros o arranxo é que a xente faga ben as páxinas e teña coidado ao meter as imaxes. No caso de que esto ocurra, dade razón ao mail de arriba, please.
• Están pendentes varias cousas como por exemplo: que faga a miniatura automáticamente se o que se chuza é unha imaxe en si mesma, que faga miniaturas das imaxes dos videos de youtube que se chuzan, etc…
• De vez en cando o sistema asume como válida unha imaxe que corresponde a un banner publicitario ou similar. Calquera imaxe non relacionada coa nova será borrada do sistema.
• Xa dixen que esto está en probas e que pode petar epicamente en calquera momento?

Problemas coñecidos:

• As imaxes das novas de A Nosa Terra escríbense dinámicamente no navegador do visitante mediante JavaScript, por esa razón non poderán ser extraidas por chuza.
• As imaxes que teñen espazos no nome de arquivo ás veces dan problemas. Estou buscando o patrón.

Olá, aquí berto de novo.

Acabo de implementar unha serie de cambios no sistema de karma, votos e comentarios que afectan de forma global ao funcionamento de chuza!. O obxectivo destes cambios é adaptar o sistema a un volume de usuarios e historias cada dia máis grande e facer máis complicado os diferentes abusos e usos interesados do sistema.

Aquí está o paquete de medidas, como diría un político:

• En xeral: O calculo de karma é máis conservador e vai ser máis dificil subir puntos de karma. Pola contra adquirir status especial (podendo editar novas de outros, etc…) será máis fácil: os usuarios adquirirán status especial ao pasar dos 16 de karma e non o perderán ata baixar de 14.
  
• Karma mínimo: aínda que o karma base de chuza segue sendo 6 (con ese karma comezan os novos rexistrados) a partir de agora o karma poderá baixar ata 4. Os usuarios con karma menor que 5 non poderán enviar historias, comentarios, chios nen mensaxes ao fedello. A xente que so teña a conta para comentar ou votar negativo veráse afectada por iso: o único que poderán facer para recuperar karma é votar por historias que lle parezan interesantes e esperar que esas historias pasen a portada. Non é complicado volver a karma 5 ou máis.
• Medidas contra karma-whores, bots e pseudo-bots: A xente que vote maioritariamente as novas de portada ou que vaian pasar a portada co obxectivo de acumular karma será penalizada no recalculo de karma.
• Choivas de negativos: O karma mínimo para votar negativo será de 8. E no caso de votar máis de 2 negativos en un minuto o karma do usuario baixará en 2 puntos.
• Votación de comentarios: Os comentarios poderán ser valorados positivamente ou negativamente por usuarios con karma 6 ou superior. Cada voto sumará ou restará o karma do usuario que vota ao comentario. No caso de que un comentario acumule un karma inferior a -50 este non será mostrado directamente na lista. Estes votos negativos e positivos afectaran ao karma do autor do comentario. Para evitar choivas de negativos en comentarios se un usuario fai máis de 4 votos negativos a comentarios nun minuto o seu karma baixará un punto.

Espero que estas medidas axuden a crear un espazo de convivencia máis positivo e que chuza volva a ser unha ferramenta engrasada para valorar e debatir a información.

Nota: de momento estes cambios están en probas e pode haber variacións e a xustes.

Engadido: Como se ve que non está moi claro algunhas veces, algunhas pistas sobre o que sube ou baixa o karma.

Sube o karma:

• Enviar historias e que chas voten positivamente.
• Votar positivamente historias que finalmente pasa á portada.
• Votar negativamente historias que finalmente se descartan.
• Que os teus comentarios teñan votos positivos.

Baixa o karma:

• Enviar historias e que chas voten negativamente.
• Enviar comentarios e que chos voten negativamente.
• Votar negativamente historias que pasan á portada.
• Votar positivamente historias que acaban descartadas.
• Votar negativamente moi rápido (se votas máis de 2 negativos nun minuto o teu karma baixará 2 puntos).
• Votar comentarios negativamente moi rápido (se votas máis de 4 comentarios negativos nun minuto o teu karma baixará 1 punto)
• Votar masivamente as novas da portada ou que vaian pasar a portada e non facer ningunha outra cousa. (penalización despois do cálculo)
• Votar soamente sen enviar comentarios nen historias durante un longo tempo. (penalización despois do cálculo)
• O paso do tempo sen ter actividade.

Máis información sobre o funcionamento básico do sistema de karma.

Durante a mañá de hoxe miles e miles de brasileiros chegaron a chuza buscando en google esto, o que provocou repetidas caidas do servidor e en moitos casos ocupaban tanto a conexión que era ata imposible reinicialo de novo. Para solucionalo tiven que facer unha páxina especial para a xente que chegaba de google buscando iso evitando desa forma que cargaran todo o código da páxina.

A pesar de esa restrición a sobrecarga seguia sendo extremadamente forte polas visitas doutros motores de búsqueda e espellos de google polo que rematei eliminando a historia e todas as referencias, votos e comentarios a ela por motivos de seguridade xa que o servidor de chuza non está preparado para unha carga que en algunhas horas de hoxe foi ata 20 veces superior á habitual.

Esta é a primeira vez que se borra unha historia en chuza e non dubidarei en volver a facelo no caso de que unha historia descartada esté provocando un flood de visitas deste tipo. Ou tomar calquera outra medida similar en calquera outro caso no que se comprometa a continuidade normal do servizo.

Como medida temporal para que esto non volva a ocurrir forcei que as historias descartadas non sexan indexadas polos crawlers como o googlebot e similares usando Robots meta tags. Con máis tempo e despois dun análise máis profundo do problema tomarei medidas máis ríxidas contra casos de este tipo.

Ah, a foto de Flavia Alessandra é esta

PD: Obrigado a Pedro Silva e Álvaro Gómez polo apoio técnico.

Grazas ao noso geek gafotas preferido: Pedro Silva (si, o de blogaliza) xa se poden enviar chios dende o teu móbil.

Para facelo tan so tes que ir a edición do teu perfil de usuario e introducir o número de móbil dende donde vas enviar os Chíos. Despois de gardar xa só tes que enviar un SMS que comece coa palabra “CHIO” seguido do que queiras ao número 664505999. O prezo é o que pagues por un SMS normalmente xa que é un móbil normal o que os recibe.

De momento este servizo está en probas e da algun problemiña cos caracteres “raros” (acentos, eñes, cedillas).