10 herramientas que pueden ayudar a los periodistas de datos a hacer un mejor trabajo, ser más eficientes

Es difícil ser igualmente bueno en todas las tareas que corresponden al periodismo de datos. Para empeorar las cosas (o mejorar, en realidad), los periodistas de datos están descubriendo y aplicando nuevos métodos y herramientas todo el tiempo.

Como periodista de datos principiante, querrá desarrollar una idea de las herramientas que otros usan para hacer el trabajo que admira. No podrá aprenderlos todos a la vez, y no debería intentarlo. Sin embargo, debe desarrollar una especie de conciencia ambiental de las herramientas en uso (algo así como el conocimiento que le brinda Facebook sobre la vida de sus compañeros de clase de la escuela secundaria). Mantenga una lista de herramientas para revisar. Mire las demostraciones y explore la documentación o el código. Luego, cuando sus proyectos creen la necesidad, recordará lo suficiente para comenzar.

Sin embargo, de manera más inmediata, elija una o dos herramientas y hágalas parte de su ADN. Elige una herramienta y exprime de ella todo lo que puedas. Lee todo lo que puedas encontrar al respecto. Aprenda cada idiosincrasia y optimización. Compra una taza de café con las teclas de acceso directo. Solo prepárate para tomar una nueva herramienta cuando sientas el pellizco que dice que debe haber una manera más fácil. A continuación se presentan 10 herramientas que forman parte del cinturón de herramientas de casi todos los periodistas de datos.

1. La hoja de cálculo

Casi todos los periodistas de datos comienzan con la hoja de cálculo. (Divulgación: soy una excepción aquí, al igual que otros programadores-periodistas. Aprendí a usar hojas de cálculo para trabajar con mis colegas que confían en ellas).

La hoja de cálculo es un formato de datos casi universal, especialmente si guarda sus datos como un archivo delimitado de texto sin formato, como un archivo de valores separados por comas. Todo el mundo ya tiene un programa de hoja de cálculo comercial o puede descargar fácilmente un gratis one, y las aplicaciones modernas de hojas de cálculo son notablemente versátiles.

Hay varios sitios y cursos disponibles para ayudarlo a desarrollar habilidades con las hojas de cálculo. Comience con clasificación, filtrado y subtotales, y continúe con fórmulas más avanzadas. A medida que aprenda a usar fórmulas, a veces intente escribirlas directamente, en lugar de usar los asistentes. Esta práctica le brindará un conocimiento más profundo de las fórmulas que está utilizando y también lo ayudará a comenzar a expresar sus ideas en código, lo que será útil a medida que adquiera otras herramientas.

2. Sql

Después de un tiempo, puede comenzar a sentir el pellizco de las limitaciones de las hojas de cálculo. Muchos periodistas de datos optan por un administrador de bases de datos relacionales (por ejemplo, SQLite, MySQL, PostgreSQL, Access) cuando tienen más de dos hojas de cálculo para unir o conjuntos de datos muy grandes para consultar. sql le permite describir exactamente el subconjunto de datos que desea extraer o los cambios exactos que desea realizar, y le permite realizar estas consultas en conjuntos de datos relacionados. También puede guardar sus comandos como una secuencia de comandos, para que pueda documentar todo lo que ha hecho con los datos, y puede repetir automáticamente esos pasos en un conjunto de datos futuro.

Prácticamente todos los programas de bases de datos relacionales usan algún tipo de SQL, por lo que una vez que haya aprendido los conceptos básicos (un par de docenas de palabras clave y algo de puntuación), puede consultar bases de datos en cualquier cantidad de sistemas, tanto gratuitos como comerciales. Además, las bases de datos relacionales se utilizan con frecuencia para almacenar datos en aplicaciones web, por lo que su conocimiento de SQL puede ser directamente útil en el desarrollo web.

Aquí hay un tutorial para empezar

3. Herramientas de limpieza de datos

Todos los conjuntos de datos están 'sucios'. Repítelo tres veces cada vez que abras tu computadora portátil.

Para limpiar los datos y ponerlos en un formato útil, probablemente utilice una variedad de herramientas. Mi favorito es Refinar Google , que se parece un poco a una hoja de cálculo, pero está diseñado para cosas como la estandarización de nombres para que pueda crear recuentos confiables. (Es posible que desee que 'John Smith', 'Smith, John' y 'John Q. Smith' se cuenten como una persona, por ejemplo, en lugar de tres). Utilizando Lenguaje de expresión refinado de Google , podrá realizar transformaciones de datos sofisticadas y dará un paso más para expresarse en código. ( Arreglista de datos es una nueva herramienta con alguna funcionalidad similar a la de Refine que también vale la pena revisar).

También debe conocer las herramientas de su sistema operativo que pueden ayudar a administrar los archivos y los datos que contienen. Si está en OSX o Linux, tiene pero, awk, grep y encontrar . (Hay puertos para Windows también.) Usando estas utilidades, puede comenzar a explorar y manipular sus datos sin siquiera molestarse en abrir una hoja de cálculo o un programa de base de datos.

Y mientras observa las herramientas de línea de comandos, consulte CSVKit , un increíble conjunto de herramientas, desarrollado por periodistas, que lo ayudará a hacer magia en ese formato común.

4. Herramientas de visualización

La visualización no es decoración. No es algo que simplemente acompaña e ilustra el periodismo de datos; es fundamental para la tarea. Una buena visualización le permitirá ver valores atípicos y tendencias de formas que pueden alterar profundamente su comprensión de los datos.

La mayoría de las aplicaciones de hojas de cálculo tienen al menos tablas y gráficos básicos (y, a menudo, visualizaciones más sofisticadas disponibles a través de complementos). Un par de herramientas de visualización basadas en la Web se están volviendo estándar. Verificar Tablas de fusión de Google y Junta Pública . Ambos ofrecen facilidad de uso y algunos resultados bastante impresionantes.

Eventualmente, es posible que desee algo más flexible y poderoso; los expertos a menudo recurren a algo como el código abierto R paquete de estadísticas, que combina poderosas herramientas analíticas y de visualización en un lenguaje de programación robusto.

5. Software de mapeo

Las tablas de Google Fusion y Tableau Public incluyen capacidades de mapeo rápidas e intuitivas. Cuando ninguno de sus mapas te da lo que quieres, echa un vistazo a la libre QGIS paquete de mapeo. (O, si su sala de redacción tiene una licencia adicional, ArcView es una poderosa opción comercial.) Para una introducción centrada en el periodista de QGIS, consulte este tutorial .

También hay extensiones espaciales para administradores de bases de datos que pueden ayudar a hacer preguntas geográficas sobre sus datos. Expanden las capacidades de SQL para incluir consultas sobre geografía, como identificar ubicaciones dentro de un límite (por ejemplo, condado o distrito del Congreso). PostGIS y SpatiaLite son soluciones gratuitas y populares.

6. Lenguaje de secuencias de comandos

Elige un idioma, compra un libro, resuelve un problema. Aprender a programar expandirá rápidamente su alcance como periodista de datos: ¿El gobierno no le dará los datos detrás de un sitio web? Rasparlo. ¿No puede obtener los datos en la forma que desea utilizando las herramientas existentes? Construye tu propio. Hay un poder embriagador en convertirse no solo en un usuario de software sino en un fabricante de software.

No importa tanto el idioma que elijas, aunque Pitón y Rubí parecen ser los favoritos actuales entre los periodistas. Si alguien que conoces ya trabaja con Perl o PHP y está dispuesto a ayudarlo a comenzar, es posible que desee comenzar allí. Al igual que con los lenguajes naturales, una vez que ha aprendido uno, aprender el siguiente es más fácil y aprender a pensar como un programador es mucho más importante que aprender una sintaxis determinada. (Además, es posible que los niños geniales estén usando algo completamente diferente para cuando domines el idioma del momento).

Si quieres empezar con Web scraping, echa un vistazo a La excelente guía de raspado de ProPublica . ScraperWiki es otra manera de mojarse los pies y aprender con el ejemplo. Aprende a Programar es una gran introducción a los conceptos de programación que utiliza Ruby como lenguaje de destino.

7. Marco web

Ya sea que esté creando herramientas para usted mismo o creando aplicaciones orientadas al mundo, si está creando para la Web, necesita un marco Web: Django para pitón, Rieles para rubí , sinfonía para PHP, Catalizador para Perl, haga su elección.

Un marco mantendrá el trabajo aburrido y repetitivo fuera de su camino, lo ayudará a adoptar las mejores prácticas, lo mantendrá organizado y facilitará la colaboración con otros. Muchos marcos vienen con un instalador de un solo clic que puede ayudar a aliviar parte del dolor al comenzar. Echa un vistazo a Bitnami Django y Rubí pilas, por ejemplo.

En el curso de la creación de una herramienta web, aprenderá una buena cantidad de HTML y CSS. Pero todos los signos apuntan a la creciente importancia de JavaScript en todo el desarrollo web. Si desea que su aplicación web se parezca más a una aplicación de escritorio, conozca algo de JavaScript, en particular bibliotecas como jQuery .

8. Un editor flexible

Para escribir código, necesita un editor de código. Eso significa un editor que no coloca caracteres ingeniosos y elegantes en su texto (mirándolo, Microsoft Word) y, con suerte, agrega algunas campanas y silbatos, como el color de sintaxis específico del idioma, que lo ayudará a identificar fácilmente palabras clave y otros idiomas. elementos a medida que escribe.

No hay forma más segura de comenzar una pelea de nerds que preguntar qué editor de código es el mejor. compañero de texto (para Mac) es una opción comercial viable. Y Bloc de notas++ (para Windows) es una buena opción gratuita. También están las opciones de código abierto infinitamente personalizables YO VINE y Emacs . Sin embargo, prepárate para una curva de aprendizaje con cada uno de ellos. Eventualmente, algún programador de Java le sugerirá que necesita una Entorno de desarrollo integrado . Si alguien te está ayudando a aprender a codificar, adopta su editor y aprende todos los atajos y trucos de configuración que puedas. Un editor es la herramienta más personal y querrás que la tuya se sienta como en casa.

9. Control de revisión

¿Nunca cometes errores? ¿Nunca quieres colaborar con nadie? Entonces tal vez no necesites control de revisión . Pero vale la pena usarlo si desea una forma elegante de guardar copias de seguridad, probar cosas en versiones temporales de archivos y fusionar su trabajo con el de otros. Quizás la forma más fácil de aprender el control de revisión es usar Github . También puedes instalar ir o Subversión en la zona.

10. Herramientas de análisis de documentos

Quizás la frontera más emocionante en el periodismo de datos ahora es el intento de tratar grandes conjuntos de documentos como datos. DocumentCloud proporciona una interfaz útil para aflojar los lazos del formato PDF, lo que permite buscar en documentos y extraer puntos de interés.

Rompecabezas es un software de escritorio que es útil para navegar por un conjunto de documentos relativamente grande. Eventualmente, es posible que desee analizar el potencial lingüístico computacional de paquetes como Kit de herramientas de lenguaje natural de Python o la Stanford Core NLP . Y debido a que los periodistas acaban de arañar la superficie de esta área, nuevos herramientas que tratan los documentos como datos están surgiendo todo el tiempo.

Esta es la segunda historia de una serie de dos partes sobre periodismo de datos. Puede leer la primera historia, “5 consejos para iniciarse en el periodismo de datos”, aquí.

Esta historia también es parte de un Poynter hackers/hackers serie que presenta Cómo es ese enfoque en lo que los periodistas pueden aprender de las tendencias emergentes en tecnología y nuevas herramientas.

Corrección: Una versión anterior de esta historia decía que los usuarios tenían que pagar por Notepad++. De hecho, es gratis.