Como comparar data.frame para achar arquivos duplicados

Para uma melhor compreensão de como é feito, em geral, o trabalho em data science, vamos definir os procedimentos ou passos a serem considerados na análise. Os procedimentos que apresentamos decorrem das ideias descritas no livro (Grolemund,2017) e podem ser observados na figura abaixo.

Diagrama de ferramentas para Data Science em (Grolemund,2017)

Pensando em um projeto com dados retangulares, devemos ter as seguintes etapas:

Passo 1: Formulação da pergunta de pesquisa

Neste primeiro passo propõe-se que sejam definidos os objetivos da pesquisa, para compreender mais profundamente o que, como e o porquê do projeto.

Passo 2: Recuperação dos dados (ou, garimpagem dos dados)

Em seguida, prossegue-se obtendo dados da web, de bancos de dados tipo MySQL ou de qualquer outra fonte. Associado a este passo existe a etapa “Import” mostrada na figura anterior.

Passo 3: Preparação de dados

Neste momento se procede à compreensão e preparação dos dados para a análise. Os dados devem ficar num formato tipo dados “tidy” (arrumado - tradução livre). Estes últimos fornecem uma maneira padrão de organizar os valores dentro de um conjunto de dados.

Por exemplo: disponibilizados um conjunto de dados, poderiamos considerar remover os valores falsos, fisicamente impossíveis ou inconsistentes. As informações devem ser combinadas e arrumadas no formato adequado de dados tidy (etapa descrita no diagrama anterior).

Passo 4: Exploração de dados

É o momento de compreender ainda melhor os dados fazendo uma análise profunda e detalhada, a partir da manipulação e visualização dos mesmos. As etapas “Transform” e “Visualise” pertecem a este passo.

Como exemplos do trabalho a fazer na etapa “Trasformação” estão a criação de dummies, agregação de dados e redução do número de variáveis. Já neste ponto os dados se encontram na melhor forma possível, ou seja, na mais natural para interagir com os mesmos. As etapas “Tidy” e “Trasform” quando juntas são chamadas de “wrangling” (retorcer, forjar os dados - tradução opinativa) (Grolemund,2017)

Muitas vezes, no procedimento de exploração de dados, é preciso gráficos para visualizar as distintas categorias de uma variável ou a correlacão dela com o resto das variáveis. Com este fim, na etapa “Visualise”, procuramos estabelecer um sistema de gráficos para facilitar, por exemplo, a visualização de dados de grandes dimensões.

Caso necessário, pode existir um passo intermediário para o tratamento dos valores faltantes e os outliers. Este é conhecido com o nome de “Data Cleaning” (limpeza de dados - tradução livre).

Passo 5 - Modelagem dos dados

Responderemos as perguntas de pesquisa realizadas no passo 1, mediante uma modelagem adequada dos dados.

Passo 6 - Apresentação

O útimo passo da análise é explicar ou comunicar os resultados. Para este passo o R também conta com ferramentas importantes como o rmarkdown e knitr, que permitem realizar relatórios e apresentações integrando códigos e resultados. A etapa relacionada a este passo é “Communicate”.

O progresso dos passos 1 ao passo 6 não é linear de acordo com (Cielen, 2016). Durante os procedimentos, é normal dar um passo atrás e retornar a uma etapa anterior de forma a estar preparado para o próximo passo. Por exemplo, na identificação dos outliers feita no procedimento de exploração de dados pode se notar um erro de importacão ocorrido no procedimento de recuperação de dados, o que implica voltar para consertar o problema.

Ao longo deste material e das aulas as principais ferramentas para se trabalhar com dados na linguagem R serão apresentadas. Estas foram basicamente desenvolvidas para auxiliar o trabalho a fazer em cada etapa dos passos acima.

Dentre as ferramentas estão o pacote readr para a etapa “Import”, o tibble e tidyr para a etapa “Tidy”, dplyr para a etapa “Trasform”, ggplot2 para “Visualise” e modelr e broom para o “Model”. Os pacotes escolhidos neste material pertencem ao conjunto de pacotes tidyverse no R. Todos os pacotes contidos no tidyverse são projetados para trabalhar com dados tidy.

A seguir, descreveremos mediantes exemplos, as funcionalidades dos pacotes listados no tidyverse para o análise de dados. Ainda que os pacotes do tidyverse possam ser carregados conjuntamente, preferimos carregá-los individualmente, para que fique mais claro em quais pontos eles são utilizados. Os pacotes que serão apresentados possuem diferentes funcionalidades, o objetivo desse material é apresentar as principais funções e despertar nos alunos a curiosidade e disposição de usá-los. Recomenda-se pesquisar sobre os pacotes usando o Google, a função help() e o site do tidyverse.

O tibble (classe tbl_df) é um tipo especial de data frame, como explicado em (Müller,2018). Um data frame é um conjunto de dados que mantém os dados retangulares em linhas e colunas, como uma tabela, e pode ter colunas com tipos diferentes. O tibble fornece uma forma moderna de trabalhar com o data frame porque possui uma verificação mais rigorosa e uma melhor formatação se comparado ao data frame tradicional. Além disso, oferece um melhor método de impressão, o qual é útil ao trabalhar com grandes conjuntos de dados.

O tibble e outros pacotes deste material podem ser instalados a partir do CRAN11 The Comprehensive R Archive Network. No seguinte exemplo de código será instalado o tibble utilizando a função install.packages(), que recebe como primeiro argumento o nome do pacote entre aspas.

Após a instalação, para carregar o pacote se utiliza a função library() ou require(). Por padrão, library() retorna um erro se o pacote solicitado não existir, enquanto require() retorna um valor lógico, sendo FALSE se o pacote solicitado não for encontrado e TRUE se o pacote estiver carregado.

Antes de começarmos a trabalhar com o tibble vamos ilustrar algumas funcões dos objetos de tipo data frame tradicional do R, para depois expor algumas diferenças em funcionalidade com os objetos de tipo tibble.

Para criar um data frame, basta usar a função data.frame(). A seguir mostramos como criar um data frame com 4 vetores colunas de tipos diferentes e comprimento 5:

Podemos, por exemplo:

1. Acessar à coluna de nome col2 mediante o operador $:

1. Indexar o data frame mediante colchetes. Neste caso, obtendo a segunda linha toda:

Observe que a indexação nos data frames tradicionais do R podem retornar tipos diferentes. Para obter a classe dos objetos é utilizada a função class():

Uma limitação importante dos data frames tradicionais é modificar o tipo de variável que foi inserida no mesmo. Observe o exemplo abaixo. Ao obter a classe dos vetores col1 e col2 e das colunas do data frame do mesmo nome, observe que a classe do vetor col1 coincide com a classe da coluna do mesmo nome do data frame, mas o resultado foi diferente para a segunda coluna. O vetor col2 é de tipo character mas a coluna col2 do data frame mudou o tipo para factor.

Para se criar um data frame sem o problema anterior é preciso especificar como FALSE o argumento stringsAsFactors da função de criação, com o qual a coluna 2 do data frame tem o tipo esperado:

1. Os data frames possuem nomes de colunas e nomes de linhas, que podem ser obtido pelas funcões rownames() e colnames(), respectivamente. O número de linhas e colunas podem ser verificados com a função nrow() e ncol().

1. Removendo e adicionando linhas e colunas de um data frame;

Neste caso foi eliminada toda a segunda linha e a quarta coluna:

Agora, observa-se que o nome da última linha é 5, mas o número real de linhas é 4, o qual pode ser verificado mediante a função nrow():

Para adicionar uma nova coluna de nome newcol4 foi utlizada a função cbind(). Observe que a coluna terá o valor FALSE repetido pelas 4 linhas do data frame correspondente:

Outra forma de adicionar uma coluna é mediante o operador $. Neste caso foi criada uma nova coluna de nome col5 e terá também o valor FALSE repetido nrow() vezes:

Para adicionar uma linha é utilizada a função rbind():

A frequência de ocorrência dos termos de qualquer coluna pode ser obitida pela função table(). Neste caso d1 aparece duas vezes na coluna de nome col2, b1 nehuma e as demais apenas uma vez:

O data frame conta com correspondência parcial para suas colunas, o que pode levar a um erro se esse fato não for levado em consideração. Basta acesar a uma coluna do data frame usando só um fragmento do nome, desde que não haja coincidência com os outros nomes das colunas. Neste caso, será acessada a coluna newcol4 mediante um fragmento do seu nome:

Uma vez conhecidas as principais funcionalidades de um data frame, se apresentarão alguns comados para o tipo especial tibble. Para isto, será criado um novo objeto de tipo tibble, com duas colunas e duas linhas. A primeira coluna terá tipo numeric e nome col1, e a segunda terá tipo factor e nome newcol2:

Criando um tibble:

Cada variável pode ser do tipo numbers(int, dbl), character(chr), logical(lgl) ou factor(fctr). Vamos trabalhar algumas funcionalidades:

1. Realizando indexações mediante colchetes:

1. Acessando a coluna newcol2:

O acesso à coluna newcol2 fazendo uso da correspondência parcial retorna NULL:

1. Convertendo um data frame em um tibble

Partindo de um data frame previamente criado ou carregado, é possivel convertê-lo para o formato tibble. Para mostrar esta funcionalidade, é carregado o data frame hflights contido no pacote de mesmo nome.

Esta base de dados contém todos os voos que partem dos aeroportos de Houston IAH (George Bush Intercontinental) e HOU (Houston Hobby). O data frame contém 227.496 linhas e 21 colunas:

• Year, Month, DayofMonth: data de partida
• DayOfWeek: dia da semana de partida
• DepTime, ArrTime: horários de partida e chegada
• UniqueCarrier: abreviatura única para uma companhia aérea
• FlightNum: número do voo
• TailNum: número do avião
• ActualElapsedTime: tempo percorrido pelo voo
• AirTime: tempo de duração do voo
• ArrDelay, DepDelay: atrassos de chegada e partida
• Origin, Dest: códigos dos aeroportos de origem e destino
• Distance: distância da trajetória do voo
• TaxiIn, TaxiOut: tempo de taxi-in e taxi-out
• Cancelled: indicador de cancelamento de voo
• CancellationCode: motivo do cancelamento
• Diverted: indicador de desvio

Carregando o data frame hflights:

Primeiramente, conferindo que hflights é de tipo data frame e mostrando as primeiras linhas com a função head():

Segundo o obtido anteriormente, este conjunto de dados ainda não está no formato tibble. Para converter o data frame tradicional em tibble é utlizada a função as_data_frame():

O cabeçalho da tabela hflights2 agora mostra uma aparência diferente:

Se for preciso, é possivel mudar do tipo tibble de volta para o data frame com a função as.data.frame(). Para obter uma breve descrição contendo o tipo das colunas é utilizada a função glimpse():

É possível também alterar a aparência de impressão padrão, por exemplo com “print_max = Inf”" imprime-se todas as linhas:

Segundo os exemplos estudados, o tibble comparado com o data frame tradicional (veja esse comentários com a função help(tibble)):

• Nunca converte um tipo character como factor
• A indexação com colchetes sempre retorna um tibble
• Não faz correspondência parcial. Retorna NULL se a coluna não existe com o nome especificado

Uma sugestão importante é evitar o trabalho com nomes de linhas, mesmo sendo uma funcionalidade do tibble e do data frame. No caso do tibble, um warning será levantado ao tentar atribuir nomes de linhas não NULL (Müller,2018).

Os conjuntos de dados tidy (organizados) são fáceis de manipular, modelar e visualizar. Conforme em (Wickham,2014), dados tidy é uma maneira padrão de mapear o significado de um conjunto de dados com sua estrutura. Um conjunto de dados está arrumado ou não, dependendo de como linhas, colunas e células são combinadas com observações, variáveis e valores.

Nos dados tidy, cumpre-se que:

• Cada variável deve ter sua própria coluna
• Cada observação deve ter sua própria linha
• Cada valor deve ter sua própria célula

Carregando o pacote tidyr:

O pacote tidyr fornece algumas funções para alterar o layout do conjunto de dados:

1. gather(): colapso de colunas em linhas. Você deve usar essa função quando você tiver colunas que não são variáveis.

Utilizada principalmente quando as colunas da base não representam nomes de variáveis, mas sim seus valores. No exemplo abaixo as colunas lojaA e lojaB representam os valores do preço dessas lojas para os produtos P1 e P2:

Aplicando a função gather() foi criada uma coluna de nome Lojas para representar lojaA e lojaB, e outra coluna de nome Preço com os valores do preço de cada produto nas diferentes lojas:

1. spread(): espalha linhas em colunas. Comportamento inverso à função gather().

1. separate(): separa uma coluna em múltiplas colunas.

Por exemplo, no tibble anterior de nome tb2, será adicionada uma nova coluna de nome DiaMes para o dia do mês no qual foi observado o preço para cada produto, seguindo o formato “dia/mes” :

Depois de aplicar separate, foram criadas uma coluna de nome Dia e a outra de nome Mes com os valores que continham a coluna DiaMes mas agora separados pelo character “/” :

1. unite(): une multiplas colunas em uma só. Comportamento inverso à função separate().

A função read.csv() pode ser usada para ler um arquivo no formato csv. A varianteread.csv2() é utilizada em países que usam uma vírgula “,” como ponto decimal e um ponto e vírgula “;” como separadores de campo. A função write.csv() ou a variante write.csv2() pode ser usada para exportar um arquivo no formato csv.

Para carregar e salvar grandes arquivos de forma mais rápida é usado o pacote readr. Ele fornece substituições para funções como read.csv(), sendo a função análoga read_csv(). Esta função é muito mais rápida que a função em base R e fornece algumas outras características agradáveis, como medidores de progresso, conforme em (Peng,2015).

Carregando o arquivo “mtcars.csv” (Motor Trend Car Road Tests), o qual contem 32 observações e 11 variáveis relativos aos veículos dos anos 1973-1974 . Note que os dados resultantes da importação tem o tipo tbl_df:

mpg Miles/(US) gallon
cyl Number of cylinders
disp Displacement (cu.in.)
hp Gross horsepower
drat Rear axle ratio
wt Weight (1000 lbs)
qsec 1/4 mile time
vs Engine (0 = V-shaped, 1 = straight)
am Transmission (0 = automatic, 1 = manual)
gear Number of forward gears
carb Number of carburetors

A função read_csv() tenta adivinhar automaticamente o tipo de dados de cada coluna, mas para um resultado mais preciso pode ser especificado o tipo das colunas:

Para salvar o arquivo em formato csv:

O operador pipe permite o “encadeamento” de chamadas de várias funções. Como cada função separada retorna um objeto, é permitido que as funções sejam encadeadas em uma única declaração, sem precisar de variáveis para armazenar os resultados intermediários.

De acordo com (Baumer,2017), a sintaxe do Pipe retém a lógica passo a passo do nosso código original, ao mesmo tempo que é facilmente legível e eficiente em relação à memória e a criação de data frames temporários.

A função permite tornar os códigos em R mais simples para o usuário, que passa a poder realizar múltiplas operações em uma única linha. Ele ajuda a organizar melhor o código, tornando muito mais fácil mantê-lo depois.

No R, o operador pipe é o " %>% " (tecla de atalho: crtl+shift+M). Ele captura o resultado de uma declaração e o torna a entrada da próxima declaração. Ao descrevê-lo, é possível pensar nisso como “EM SEGUIDA FAÇA”.

Para uma melhor comprensão, são apresentadas as regras gerais do Pipe:

• f(x) pode ser reescrito como: x %>% f
• f(x, y) pode ser reescrito como: x %>% f(y)
• g(f(x)) pode ser reescrito como: x %>% f %>% g

Carregando o pacote que fornece o Pipe:

Para exemplificar as vantagens deste operador, serão comparadas duas implementações: sem e com o operador pipe para obter as duas primeiras linhas do data frame hflights com os valores da coluna Distance maior que 300.

Sem pipe:

Com pipe:

Apesar de o operador pipe ser muito útil e fácil, ele não guarda os resultados intermediários. Em um encadeamento, pode-se estar interessado não apenas no resultado final, mas também em resultados intermediários. Para visualizar ou salvar estes resultados intermediários é preciso ter uma sintaxe simples para evitar quebrar a sequência principal. Para isto, o pacote pipeR, de acordo com (Ren,2016), define uma sintaxe unificada e intuitiva. O pacote foi projetado para ajudar a organizar os códigos de forma consistente, seguindo a mesma lógica do operador pipe.

Guardando o resultado intermediário na variável de nome hflightsInter:

Poderia ter o número de linhas sem guardar os dados na hflightsInter, usando apenas o operador pipe:

Utilizando a função head para hflightsInter:

O pacote purrr dispõe de ferramentas com uma expressividade similar a uma linguagem de programação funcional. Este contém funções que eliminam a necessidade de muitos ciclos de forma consistente e o código fica muito mais fácil de escrever e entender.

As funções map() abstraem a iteração em apenas uma linha. Por padrão, a função retorna uma lista com um elemento para cada saída. Para obter os dados como sendo um tipo de vetor é preciso informar qual será o seu tipo utilizando algumas das funções para essa tarefa. Por exemplo:

• Construir um vetor de tipo logical: é usada a função map_lgl()
• Construir um vetor de tipo integer: é usada a função map_int()
• Construir um vetor de tipo double: é usada a função map_dbl()
• Construir um vetor de tipo character: é usada a função map_chr()

Por exemplo, defina uma função a ser aplicada ao vetor v:

Uma solução óbvia seria usar a função “for” para resolver esse problema:

Contudo, utilizando a função map() o código fica sem ciclos para percorrer o vetor:

Também é possível especificar o tipo double para o vetor de saída:

A função map() pode ser aplicada satisfatoriamte em tibbles e utilizando o operador pipe:

Neste caso, para calcular a média de cada coluna:

Dada a relevância de manipular os dados em um data frame, é imprescindível ter boas ferramentas para lidar com eles. O dplyr é um pacote que facilita o trabalho com dados, com uma gramática de manipulação de dados simples e flexível (filtragem, reordenamento, colapso, entre outras). Ele foi construído com o intuito de obter uma forma mais rápida e expressiva de tratar os dados (Peng,2015). O tibble é a versão de data frame mais conveniente para usar com dplyr.

Uma contribuição importante do pacote é que a sua gramática, que contém funções verbais que são comuns para manipulação de dados. As funções verbais, detalhadas em (Baumer,2017), são:

• select(): subconjunto das colunas ou variáveis do dataset
• filter(): subconjunto das linhas ou observações
• mutate(): adicionar ou modificar colunas
• arrange(): reordenar as linhas com respeito a determinadas colunas
• summarise() [em conjunto com groupby()]: reduz cada grupo numa única linha sob alguma medida estatística

O data frame é sempre o primeiro argumento das funções verbais. Todas seguem a mesma sintaxe: primeiro o data frame, seguido do operador pipe e, por fim, o nome da função verbal com outros argumentos entre parênteses (Ismay,2018). As funções verbais não modificam o data frame original.

As funções verbais correspondem aos comandos SQL da seguinte forma:

• select ~ SELECT
• filter ~ WHERE
• arrange ~ ORDER
• summarise ~ sum, min, sd
• mutate ~ +, *, log

Descreveremos como é feito o trabalho com as funções verbais. Para isso primeiramente converteremos o data frame hflights em tibble e atribuimos ele para uma variável de nome hflights2.

Função select()

Selecionando colunas 14 e 15 do tibble de nome hflights2 com a função select(). Antes, vamos relembrar as variáveis que temos na nossa tabela hflights

Esta base de dados contém todos os voos que partem dos aeroportos de Houston IAH (George Bush Intercontinental) e HOU (Houston Hobby). O data frame contém 227.496 linhas e 21 colunas:

• Year, Month, DayofMonth: data de partida
• DayOfWeek: dia da semana de partida
• DepTime, ArrTime: horários de partida e chegada
• UniqueCarrier: abreviatura única para uma companhia aérea
• FlightNum: número do voo
• TailNum: número do avião
• ActualElapsedTime: tempo percorrido pelo voo
• AirTime: tempo de duração do voo
• ArrDelay, DepDelay: atrassos de chegada e partida
• Origin, Dest: códigos dos aeroportos de origem e destino
• Distance: distância da trajetória do voo
• TaxiIn, TaxiOut: tempo de taxi-in e taxi-out
• Cancelled: indicador de cancelamento de voo
• CancellationCode: motivo do cancelamento
• Diverted: indicador de desvio

Selecionando colunas Origin e Dest:

Selecionando da coluna DepTime até a coluna Dest, excluido a coluna TailNum:

O dplyr também contém um conjunto de funções auxiliares que podem ajudar a selecionar grupos de variáveis, entre elas starts_with(), ends_with() e contains(), para as colunas que começam, terminan e contém um padrão específico.

Por exemplo, para selecionar as colunas TailNum, TaxiIn, TaxiOut, que começam com “Ta”, foi utilizanda a função auxiliar starts_with():

Função filter()

No filter pode ser considerados os operadores: >, >=, <, <=, ==, !=, is.na, !is.na

Filtrando os voos que tiveram MIA como destino:

Filtrando os voos que tiveram MIA ou SEA como destino. Para este exemplo será utilizado o operador %in% por ter mais de uma opção de destino. O resultado será comprovado com a funçao unique(), que mostra os elementos que não estão duplicados.

Agora, queremos saber todos os voos onde TaxiIn + TaxiOut > AirTime, ou seja, o avião demorou mais tempo taxiando que voando o trajeto origem-destino.

O pacote dplyr funciona perfeitamente junto ao operador pipe. Para mostrar esta funcionalidade, vamos obter um tibble apenas com as colunas AirTime e Distance, onde “Distance >= 3500 milhas” (~ 5.600 km):

Função mutate()

A função mutate adciona novas variáveis e preserva as variáveis já existentes. Adicionando ao hflights2 uma nova coluna de nome Day_Month combinando as variáveis DayofMonth e Month,utilizando o separador “/”:

Agora, vamos calcular a velocidade média em quilometros por hora. Adicionando uma nova coluna Speed que seguirá a seguinte fórmula: Speed = \(((Distance*1.6)/AirTime)*60\):

Função arrange()

Ordena as linhas de acordo com a variável. Ordenando os valores da coluna DepTime em ordem crescente:

Organizando o data frame para que os voos do mesmo destino estejam juntos:

Obtendo um tibble com as colunas UniqueCarrier e Distance, onde Distance é ordenada em ordem decrescente:

Função summarise()

As funções summarise são utilizadas em conjunto com as seguintes funções de agregação:

• min(): valor mínimo
• max(): valor máximo
• mean(): valor médio
• sd(): desvio padrão
• var(): variância

Retornando o menor valor de tempo de voo:

Para cada companhia aérea, calculando a média dos tempos de voo. É possível ignorar os valores NA’s da coluna AirTime adicionando a opção na.rm = TRUE na função mean():

Contando a quantidade de voos para cada dia do ano. Será Utilizada a função n() para contar a quantidade de linhas no grupo:

Selecionando as colunas Month, AirTime e UniqueCarrier [select(Month, AirTime, UniqueCarrier)] e obtendo as cinco primeiras informações [slice(1:5)] para cada mês do primeiro trimestre [filter(between(Month, 1,3))] Foi utilizada a função slice() (parecida com a função head mas seleciona os X primeiros itens de cada categoria diferente) para obter as cinco primeiras informações para cada grupo:

Selecionando as colunas Month, AirTime e UniqueCarrier, filtrando para o primeiro trimestre e obtendo um ranking dos cincos valores mais altos de Airtime para estes meses:

Funções join

Fazer um join ou um merge nada mais é do que juntar dois conjuntos de dados por meio de um ou mais campos em comum (chaves/key). Existem algumas vantagens de se utilizar o join (dplyr) em relação ao merge (Base R) e ao SQL:

• Sempre preserva a ordem das linhas originais;
• Sintaxe mais intuitiva;
• Pode ser aplicado em diferentes tipos de dados.

Podemos dividir as funções do tipo join em 2 tipos:

• Mutating joins (essa função lhe permite combinar 2 tabelas. Primeiramente ela faz um matching entre as observações através das variáveis-chave, em seguida, copia as variáveis de uma tabela para a a outra): left_join(), right_join(),inner_join() e full_join();

• Filtering joins (junta tabelas da mesma maneira que a “Mutating joins”, contudo, afeta as observações e não apenas as variáveis): semi_join() e anti_join()

Temos ainda, no pacote dplyr, as funções union(), intersect(), setdiff(), setequal() que também serão úteis para unir e comparar um conjuntos de dados. Nossas aplicações serão baseadas no banco de dados relacional nycflights13. Use a função help() para entender um pouco mais sobre a nossa base, as principais variáveis estão descritas abaixo:

• Airlines: permite procurar o nome completo do operador através do código abreviado
• Airports: fornece informações sobre cada aeroporto, identificadas pelo código do aeroporto
• Planes: fornece informações sobre cada avião, identificados pelo seu tailnum
• Weather: dados climáticos para cada aeroporto de Nova York por hora

Como temos uma estrutura de banco de dados relacional, é importante descrevermos as chaves para unir as bases de dados:

• flights se conecta à planes através de uma variável única, tailnum
• flights se conecta à airlines através de uma variável única, carrier
• flights se conecta à airports de duas formas: através das variáveis origin e dest
• flights se conecta à weather através de origin (location), year, month, day e hour (time)

Vamos carregar o pacote. Temos aqui os dados de 336.776 voos que partiram de Nova Iorque em 2013.

O pacote inclui, além da tabela flights, outras 4 tibbles (airlines, airports, planes, weather) relacionadas à esta:

Estrutura relacional do nycflights13 em (Grolemund,2017)

Função inner_join()

A função inner_join(x, y) retorna todas as linhas de x onde existem valores correspondentes em y, mantendo as colunas de x e y. Se houver múltiplas combinações entre x e y todas as combinações das correspondências são retornadas. É o tipo mais simples de join, que combina pares de observações sempre que suas chaves são iguais.

Ilustração de como funciona a função inner_join

O resultado da função inner_join é um novo data frame que contêm a chave, os valores de x e os valores de y. Usamos o argumento by para informar ao dplyr qual variável é a chave. Veja o exemplo abaixo: as tabelas flights e planes estão conectadas através da chave “tailnum”:

observação: tanto o merge() do R Base quanto o inner_join() do dplyr tentam descobrir as chaves em comum buscando campos com o mesmo nome. Mas vamos supor que os campos chave tivessem nomes diferentes (o que é bem comum). No R Base usamos by.x e by.y para especificar o nome do campo chave do primeiro e segundo data frame. Na função inner_join() do dplyr usamos um vetor no formato c(“chave.x” = “chave.y”).

A função inner_join() retorna todos os campos de ambos os data frames, mas somente as linhas em que as chaves são iguais. Podemos estranhar o fato da tabela (tab_inner_join) conter um número de linhas menor que a tabela flights, contudo, isso significa que existem aviões que não estão identificados na tabela plane. Uma boa forma de checar isso é usando o anti_join().

Função anti_join(x, y)

A função anti_join(x, y) retorna todas as linhas de x para as quais não existem valores correspondentes em y, mantendo apenas as colunas de x. É considerado um “filtering join”.

Ilustração de como funciona a função anti_join()

Observa-se que a quantidade de linhas cujas chaves estão em flights mas não estão em planes(representadas por tab_anti_join) somadas às linhas que estão em ambas (representadas por tab_inner_join) é exatamente a mesma que na base original flights, conforme esperado.

Função semi_join(x, y)

A função semi_join(x, y) retorna todas as linhas de x para as quais existem valores correspondente em y, mantendo apenas as x. A função semi_join(x, y) difere da função inner_join(x, y) porque a segunda retorna uma linha de “x” para cada valor correspondente de “y”, enquanto a primeira NUNCA irá duplicar valores x.

Pode-se dizer que é um “filtering join” complementar a função anti_join(x, y). Na prática, ela vai retornar as mesmas linhas que a função inner_join() (sem duplicar), e apenas vai exercer a função filtrar a tabela x. Isto é, diferentemente da função inner_join(), ela não retorna as colunas de y, apenas identifica se existe correpondência.

Ilustração de como funciona a função semi_join(x, y)

Neste exemplo, o número de linhas resultante das função semi_join() e inner_join() foram os mesmos pois não havia nenhum valor duplicado da variável chave tailnum na tabela planes.

Função full_join(x, y)

A função full_join(x, y) retorna todas as linhas e todas as colunas tanto de x quanto de y. Retorna “NA” no caso de não haja valor correspondente.

Ilustração de como funciona a função full_join(x, y)

É interessante notar que como as bases flights e planes possuiam ambas, originalmente, uma coluna year, sendo que ela não foi usada como chave para o join (consideramos apenas o tailnum), o dplyr renomeou estas colunas como year.x e year.y para poder distinguir entre aquela que veio da base flights (base x) e aquela que veio da base planes(base y).

Função left_join(x, y)

A função left_join(x, y) retorna todas as linhas de x e todas as colunas, tanto de x quanto de y. Se houver múltiplas correspondências entre x e y, todas as combinações de correspondências serão retornadas.

Ilustração de como funciona a função left_join(x, y)

As ferramentas de visualização precisam ter como entrada dados “tidy”“, porque descrevem a visualização como um mapeamento entre variáveis e propriedades estéticas do gráfico (por exemplo, posição, tamanho, forma e cor). É necessario para a maioria das ferramentas gráficas em R que os dados estejam neste formato (Wickham,2009)

É possível contruir diversos gráficos no R, mas eles não são os mais práticos para uma análise dinâmica de bases de dados. Nesse contexto, o pacote ggplot2 é uma alternativa interessante.

O ggplot2 é um pouco diferente de outros pacotes gráficos pois segue uma lógica distinta; não se trata de desenhar elementos na tela; a sintaxe do ggplot2 segue uma “gramática de gráficos estatísticos” baseada nas ideias de (Wilkinson,2005), de modo que a criação dos gráfico seja de uma forma declarativa (Wickham,2016).

Um gráfico estatístico pode ser definido como um mapeamento dos dados para propriedades estéticas (cores, formas, tamanhos) e geométricas (pontos, barras, linhas) da tela. Também podemos realizar transformações estatísticas e diferentes facetas para cada subconjunto dos dados. É a combinação de todas essas camadas que formam o gráfico estatístico.

Deste modo, os gráficos no ggplot2 são construídos por meio da adição de camadas. Cada camada representa um tipo de mapeamento ou personalização do gráfico.

Observe que o primeiro argumento da função ggplot é um data frame. A função aes() descreve como as variáveis são mapeadas em aspectos visuais de formas geométricas definidas pelos “geoms”. No exemplo abaixo, essas formas geométricas são barras, selecionados pela função geom_bar(), gerando, assim, um gráfico de barras. A combinação dessas duas camadas define o tipo de gráfico a construir.

A função ggplot requer, no mínimo:

• Uma base de dados (data frame)
• Definição de atributos estéticos (aesthetics)
• A forma dos objetos geométricos (geom)

Podemos ainda acrescentar elementos e personalizar os gráficos com:

• Transformações estatísticas
• Facetas
• Demais ajustes(legendas, eixos, escalas, etc).

O símbolo + é usado para adicionar camadas a um gráfico criado via ggplot().

No exemplo apresentado, destacamos a composição de camadas de um gráfico construído com ggplot() e sua sintaxe. Usamos um gráfico de barras (geom_bar) mas qualquer outro tipo de gráfico seguiria a mesma lógica. Algumas outras possibilidades importantes são:

• geom_line: para retas definidas por pares (x,y)
• geom_boxplot: para boxplots
• geom_histogram: para histogramas

Mudando o tipo das variáveis:

Selecionando linhas com voos atrasados:

Vamos construir camada por camada o gráfico de atrasos por dia da semana por aeroporto.

1. Acrescenta-se o data frame onde se encontram os dados:

Obtivemos uma tela em branco pois, apesar de termos definido os dados para a função, precisamos especificar como as observações serão mapeadas nos aspectos visuais do gráfico e quais formas geométricas serão utilizadas para isso. Cada camada do gráfico representará um tipo de mapeamento ou personalização.

1. Especifica-se a forma geométrica utilizada no mapeamento das observações (barras):

1. Personaliza-se o gráfico preenchendo o interior das barras com diferentes tons de acordo com o dia da semana e posiciona-se as legendas no centro do gráfico:

Gráficos estáticos, como aqueles construídos através do pacote ggplot, são muito úteis quando estamos realizando uma apresentação através de um relatório impresso, por exemplo. No entanto, ao apresentar análises via meio digital, gráficos dinâmicos podem deixar nossa apresentação mais compreensível e atrativa.

Atualmente, a ferramenta mais popular para criar gráficos dinâmicos no R é o plotly. É possível, ainda, utilizar o Plotly através do website. Exemplos de como fazer gráficos de barras, gráficos de área, histogramas, entre outros, são detalhados em (Plotly,2015).

No R, o nome do pacote é o próprio nome da ferramenta: plotly

Vamos fazer aqui uma análise com um tipo de gráfico simples, de barras, com o objetivo de visualisar os dias das semana em que as pessoas mais viajam:

A vantagem aqui é poder saber o número exato de passageiros que pegaram um voo em cada data, ao passar o cursor em cima das respectivas barras.

Existe, ainda, a possibilidade de integração do ggplot com o plotly. Basta criar, como vimos anteriormente, o gráfico com o ggplot e então, executar a função ggplotly(), inserindo como argumento o nome do gráfico criado.

No modelagem dos dados é importante ter ferramentas que trabalhem bem com o operador pipe e com as funcões de manipulação e visualização de dados. Para tal, utilizaremos os pacotes modelr e broom do R.

Como exemplo, vamos estimar o valor esperado dos atrasos de chegada (coluna de nome ArrDelay) mediante regressão linear. Para formular a equação de regressão é preciso determinar as variáveis explicativas o independentes. O R também conta com ferramentas para este propósito, como o pacote corrplot, que mostra visualmente a matriz de correlação entre as varíaveis.

Filtrando o data frame para quando “Origin = IAH, DepDelay > 0 e ArrDelay > 0” e fazendo o gráfico de correlação entre as variáveis ArrDelay, DepDelay, AirTime, DepTime:

Como mostrado no gráfico anterior, as variáveis ArrDelay e DepDelay estão altamente correlacionadas.

Agora, vamos estimar um modelo simples:

Primeiramente serão particionados os dados nos conjuntos train e test com a função resample_partition(). Os dados serão divididos em 70% para treino e 30% para teste.

A seguir estima-se um modelo de regresão linear com o objetivo de prever possíveis atrasos de chegada (coluna ArrDelay), a partir dos atrasos de partida (coluna DepDelay):

Fazendo um resumo do modelo com a função summary():

Vamos simplificar o que observamos acima utilizando a funcão tidy():

Existem várias maneiras de verificar a precisão do modelo mediante o pacote modelr:

Para adicionar uma previsão dos valores da variável ArrDelay ao data frame é utilizada a função add_predictions(). Esta função adiciona uma nova coluna de nome pred ao data frame de teste:

Baumer, B.; Kaplan, D.; Horton, N. Modern Data Science with R. 2017.

Cielen, D; Meysman, A; Ali, M. Introducing Data Science. 2016

Grolemund, G.; Wickham, H. R for Data Science. 2017. Disponível em: http://r4ds.had.co.nz/

Ismay, Ch.; Kim, A. An Introduction to Statistical and Data Sciences via R. 2018. Disponível em: https://ismayc.github.io/moderndiver-book/index.html

Kaggle Inc. The State of Data Science & Machine Learning. 2017. Disponível em: https://www.kaggle.com/surveys/2017.

Müller, K.; Wickham, H. tibble: Simple Data Frames. 2018. Disponível em: https://cran.r-project.org/web/packages/tibble/

Peng, R. R programming for DataScience. 2015. Disponível em: https://www.cs.upc.edu/~robert/teaching/estadistica/rprogramming.pdf

Ren, K. pipeR: Multi-Paradigm Pipeline Implementation. 2016. Disponível em: https://cran.r-project.org/web/packages/pipeR/

US Census Bureau. 2013 ACS PUMS DATA DICTIONARY. 2015. Disponível em: https://www2.census.gov/programs-surveys/acs/tech_docs/pums/data_dict/PUMSDataDict13.txt

US Census Bureau. 2013 American Community Survey. 2017. Disponível em: https://www.kaggle.com/census/2013-american-community-survey

Wickham, H. Tidy Data. 2014. Journal of Statistical Software Volume 59 (Issue 10). Disponível em: https://www.jstatsoft.org/index.php/jss/article/view/v059i10/v59i10.pdf.