Soccer, Brazil's passion, and big data, a relationship of love and hate

In a room located on the ninth floor of the IBM building, in Botafogo, Rio de Janeiro, a group of researchers and consultants closely watch the games of the World Cup. They watch every game, fueled by a lot of pizza and sodas. Like all Brazilians, vibrate with the best plays and suffer with the quality of some games. However, more than supporting a or b, they are there working on a IBM Reseach project. What they do is "listen" to all the fans who "speak" on Twitter about the games and the players and, from there, try to understand if they are liking it or not. The objective is to demonstrate a technology developed at IBM labs, and transformed into service, which makes analysis of Sentiments in Social Networks, named FAMA (Fame, in portuguese, and also the godess of rumor).

The process is complex. Hundreds of thousands of tweets are posted every game. Only in yesterday's game between Brazil and Cameroon, a player, Neymar, had its name mentioned on 409,971 posts. He got 50,000 tweets more than the game between United States and Portugal. Not bad for a single player. At the end of the first half, he got positive comments in 43% of all tweets .

During the game the team of Brazil received 1,563,387 entries, and the team of Cameroon, 130 846. Among the references to our team, 45% were positive, 16% were neutral and 39% negative. Definitely, we do not have unanimity regarding our national team.

"Termômetro Social",

the Globo organizations app "Segunda Tela"

How to stay tunned?

All results of the analyzes are published in social media, currently on the ESPN site, and a partnership with Globe, through application of the "second screen". See below how to monitor:

• The website of ESPN, Torcida nas Redes, presents the analyzes made by IBM team.
• The app "Segunda Tela da Globo" allows fans to participate in chats, shows general statistics about the games and provides the tracking of sentiment in the social network (the latter in partnership with IBM)

And how it works?

The process is very interesting and happens in real time. On a high level, FAMA monitors everything that is posted on Twitter about "World Cup". To do this, he needs the support of a special dictionary that basically allows the system to know if the tweet is about football or not (for other applications other dictionaries should be used). Each tweet is analyzed and if it has identified adherence to the theme, he is selected to be studied. From there, 5 steps happen:

• The words composing each tweet are separated from each other in a process called parser (or tokenization)
• Then the words are normalized, that is, errors are corrected and eventually synonyms are used
• After that, each word is categorized according to the rules of the Portuguese grammar. Adjectives, nouns, verbs, and so on are identified.
• Following, the lemma is found for each word. This is a particularly difficult step because it depends on the context (this is not just to find the root of a word)
• Finally, the "sentiment" of each word is returned. It can be positive, negative or neutral.

The "sentiment" returned for each word was previously learned by other techniques and repetition (it is, technically speaking, taught to the algorithm). Once we have the sentiment of a word, we must now simply calculate the entire tweet sentiment. Finally, a statistical analyzer will calculate the frequencies with which the players' names are mentioned, with the most frequent themes are used, and so on. The result is then presented in a comparative way.

The process is fairly complex. We all know that words can have different meanings depending on how they are used. For example, the verb "go" is usually mild but in football, when used in "Go Brazil" has a positive connotation. But when it is used in "let's go, the game is bad," has a negative meaning. Likewise, the treatment to be given to other words passes through the same challenge. To solve it, a manual preliminary processing, where analysts assemble a table of polarity is necessary.

Where else FAMA can be used?

Apply all this technology and methodology in other environments is the main focus of IBM. Cognitive computing appears as the next big promise of the technology industry. Analyze large amounts of data available on social networks have the potential to provide extremely valuable insights to companies of all industries and sizes. Imagine being able to analyze, in real time, the feeling of the customers of a bank with respect to a new product launched in the market and make adjustments to marketing campaigns immediately. Or the ability to offer differentiated products and services, based on the feelings of their customers. The applications are enormous and can transform various industries such as retail, financial services, and many others.

Futebol, a paixão do povo, e big data, uma relação de amor e ódio

Em uma sala localizada no nono andar do edifício da IBM em Botafogo, no Rio de Janeiro, um grupo de pesquisadores e consultores acompanha atentamente os jogos da Copa do Mundo. Eles assistem a todos os jogos, alimentados por muita pizza e refrigerantes. Como todo brasileiro, vibram com os melhores lances e sofrem com a qualidade de alguns jogos. No entanto, mais do que torcer, eles estão ali trabalhando, em um projeto da IBM Research. O que eles fazem é "ouvir" tudo o que os torcedores "falam" no Twitter sobe os jogos e os jogadores e, a partir daí, tentam entender se estão gostando ou não. O objetivo é demonstrar uma tecnologia desenvolvida nos laboratórios da IBM, e transformada em serviço, que faz Análise de Sentimentos em Redes Sociais, e que foi batizada de FAMA.

O processo é complexo. São centenas de milhares de tweets a cada jogo. Apenas no jogo de ontem, entre Brasil e Camarões, um jogador, Neymar, teve seu nome mencionado em 409.971 posts. São 50 mil tweets a mais do que o jogo entre Estados Unidos e Portugal. Nada mal para um único jogador. Ao final do primero tempo, ele teve avaliação positiva em 43% das publicações. 

Durante o jogo o time do Brasil recebeu 1.563.387 menções e, o time de Camarões, 130.846. Dentre as menções ao nosso time, 45% foram positivas, 16% foram neutras e 39% negativas. Definitivamente, não temos unanimidade com relação a nossa seleção.

Termômetro Social,
no aplicativo Segunda Tela, da Globo

Como acompanhar:

Todos os resultados das análises sociais são publicados na mídia, atualmente no site da ESPN e, em uma parceria com a Globo, atraves do aplicativo "segunda tela". Veja abaixo como acompanhar:

• O site da ESPN, Torcida nas Redes, apresenta as análises feitas pelo time da IBM.
• O aplicativo "segunda tela da Globo" permite que torcedores participem de um chat, mostra estatisticas gerais sobre os jogos e possibilita acompanhar o sentimento nas rede sociais (este último em parceria com a IBM)

Infográfico do Torcida nas Redes, do site da ESPN

E como isso funciona?

O processo é bem interessante e acontece em tempo real. O FAMA monitora tudo o que é postado no Twitter sobre o tema "Copa do Mundo". Para fazer isso, ele precisa do suporte de um dicionário especial que, basicamente, permite ao sistema saber se o tweet é sobre futebol ou não (para outras aplicações devem ser utilizados outros dicionários). Cada tweet é analisado e se for identificado que ele tem aderência ao tema, ele é selecionado para ser estudado. A partir daí, acontecem 5 etapas:

1. As palavras que compõem cada tweet são separadas umas das outras em um processo conhecido como parser (ou tokenization)
2. Em seguida, as palavras são normalizadas, ou seja, erros são corrigidos e, eventualmente, sinônimos são empregados
3. Depois disso, cada palavra é categorizada de acordo com as regras da gramática portuguesa. São identificados os adjetivos, substantivos, verbos, etc
4. A seguir, é encontrado o lema de cada verbo. Esta é uma etapa particularmente difícil pois depende do contexto (não é simplesmente encontrar a raiz de uma palavra)
5. Para finalizar, o sentimento de cada palavra é retornado. Ele pode ser positivo, negativo ou neutro.

O sentimento retornado para cada palavra foi previamente aprendido através de outras técnicas e da repetição (ele é, tecnicamente falando, ensinado ao algorítmo). Uma vez que tenhamos o sentimento de uma palavra, precisamos agora simplesmente calcular o do tweet inteiro. Finalizando, um analisador estatístico vai calcular as frequências com que os nomes dos jogadores são mencionados, com que os temas mais frequentes são usados, e por aí vai. O resultado é, então apresentado, de forma comparativa.

O processo é bastante complexo. Todos sabemos que palavras podem ter um sentido diferente dependendo da forma como são usadas. Por exemplo, o verbo "vamos" é, usualmente, neutro mas, no futebol, quando usado em "vamos Brasil", tem uma conotação positiva. Já quando é usado em "vamos embora, o jogo está péssimo", tem sentido negativo. Da mesma forma, o tratamento a ser dado a outras palavras passa pelo mesmo desafio. Para resolvê-lo, é necessário um processamento preliminar manual, onde analistas montam uma tabela de polaridade.

Onde mais o FAMA pode ser usado?

Aplicar toda esta tecnologia e metodologia em outros ambientes é a grande aposta da IBM. A computação cognitiva aparece como a nova grande promessa da indústria de tecnologia. Analisar as grandes quantidades de dados disponíveis nas redes sociais tem o potencial de oferecer insights extremamente valiosos para empresas de todas as indústrias e portes. Imagine poder analisar, em tempo real, o sentimento dos clientes de um banco com relação a um novo produto lançado no mercado e fazer ajustes nas campanhas de marketing imediatamente. Ou a possibilidade de oferecer serviços e produtos direferenciados, com base nos sentimentos de seus clientes. As aplicações são enormes e podem transformar várias indústrias como o varejo, serviços financeiros, e muitas outras.

The price of hiring the wrong professional

Hiring the wrong professional is expensive. We all know that. You incur in numerous expenses, some provided by law, with the termination of the employee. Not to mention the cost of the hiring process and of course the wasted time. Want to know how much it costs? 19.8 billion dollars. This is the result of a study by PwC and LinkedIn developed with the data from  companies in 11 countries, including the Netherlands, UK, Canada, Singapore, United States, Australia, France, Germany, India, China and Brazil.

The project was based on interactions of 277 million users and LinkedIn information from 2,600 customers of PWC. A crossing was made of this information considering that "terminated employees with less than one year of employment potentially represent an error in the hiring process." After all, if the process was well done, it is expected to stay longer in their jobs.

There is a discussion in the market regarding the permanence of staff for longer than one or two years on the job, especially with respect to the younger generations, their individuality, independence and little stability in jobs. However, it is definitely not reasonable to expect that a new employee be less than one year in a new position. Regardless of who initiates the shutdown process if the employee or employer, it is not really reasonable.

Hiring  processes will run well beyond a simple analysis of a Curriculum Vitae and interview. Currently, the amount of information available in social networks is a key factor for a good analysis of a candidate. Companies of all sizes and industries have increasingly used these public information on their processes for talent. And they are published by the candidates themselves, and their coworkers.

Admittedly, for a professional attain a full development into a new position, takes time to settle in and start producing, also known as onboarding. This process takes time. Companies have invested in facilitating this process that goes beyond simply following a checklist. It is important to understand that, in addition to the more common items obtaining an extension, provide a workstation or a line of cell phone, also need to take care of cultural adaptation. By doing so, we will streamline the process and make the new employee start producing earlier. And to ensure that the process to happen the way we want, there are methodologies and services that can be hired for this. An example is the IBM Onboarding.

To illustrate, IBM, just last year, contacted more than one million candidates around the world. And, with the analysis of social networks and some changes in HR processes, the cost of hiring fell approximately 40%. A few years ago, about 4 in 10 recruitment procedures needed the support of a headhunter. Currently, this demand has dropped to 10%. Other companies such as Natura and Nextel have also increasingly used social media in their hiring processes.

In short, hiring the right candidate is a critical process that demand enormous attention and methodology. The price to be paid by a erroneous hiring is very big. Times have changed and we need to go beyond a simple analysis from CV and one or more interviews. The use of the information published on social networks together with changes implemented  in HR processes can assist managers in finding the correct professional.

O preço de contratar o profissional errado

Contratar o profissional errado sai caro. Todos sabemos disso. Incorremos em inúmeras despesas previstas em lei com o desligamento do funcionário. Isso sem falar no custo do processo de contratação e, claro, no tempo perdido. Quer saber quanto custa? 19,8 bilhões de dólares. Esse é o resultado de um estudo feito pela PWC e pelo LinkedIn em empresas de 11 países, como Holanda, Reino Unido, Canadá, Singapura, Estados Unidos, Austrália, França, Alemanha, Índia, China e Brasil.

O projeto se baseou em interações de 277 milhões de usuários do LinkedIn e informações de 2.600 clientes da PWC. Foi feito um cruzamento destas informações considerando que "funcionários demitidos com menos de um ano de emprego representam potencialmente um erro no processo de contratação". Afinal, se o processo foi bem feito, é esperado que ele fique por mais tempo no seu emprego.

Existe uma discussão no mercado com relação a permanência de funcionários por um tempo maior do que um ou dois anos no emprego, principalmente com relação às gerações mais novas, sua individualidade, independência e sua pouca estabilidade em empregos. No entanto, definitivamente não é razoável esperar que um novo funcionário fique menos de um ano em um novo cargo. Independente de quem inicia o processo de desligamento, se o funcionário ou o empregador, isso realmente não é razoável.

Processos de seleção bem executados vão muito além de uma simples análise de um Currículo Vitae e de entrevistas. Atualmente, a quantidade de informações disponíveis nas redes sociais é um fator determinante para uma boa análise de um candidato. Empresas de todos os portes e indústrias tem usado cada vez mais estas informações públicas em seus processos de busca de talentos. E elas são publicadas pelos próprios candidatos, além de seus colegas de trabalho.

É certo que, para um profissional atingir um nível de desenvolvimento pleno em uma nova posição, demanda tempo para se instalar e começar a produzir, também conhecido como onboarding. Este processo toma tempo. Empresas tem investido em facilitar este processo que vai além de simplesmente seguir um check-list. É importante entender que, além dos ítens mais comuns como obter um ramal, fornecer uma estação de trabalho ou uma linha de telefone celular, também precisamos cuidar da adaptação cultural. Agindo desta forma, vamos agilizar o processo e fazer com que o novo funcionário comece a produzir mais cedo. E, para garantir que o processo aconteça da forma que desejamos, existem metodologias e serviços que podem ser contratados para isso. Um exemplo é o IBM Onboarding.

Para exemplificar, a IBM, apenas no último ano, contatou mais de um milhão de candidatos em todo o mundo. E, com a análise das redes sociais e algumas mudanças em processos de RH, o custo de contratação caiu aproximadamente 40%. Há poucos anos, cerca de 4 em cada 10 processos de recrutamento necessitavam do suporte de um headhunter. Atualmente, esta demanda caiu para 10%. Outras empresas, como Natura e Nextel também tem utilizado cada vez mais as midias sociais nos seus processos de contratação.

Resumindo, contratar o candidato correto é um processo crítico que demanda enorme atenção e metodologia. O preço a ser pago por uma contratação equivocada é muito grande. Os tempos são outros e é preciso ir além de uma simples análise de CV e de uma ou mais entrevistas. O uso das informações publicadas nas redes sociais ao mesmo tempo em que se implementam modificações em processos de RH pode auxiliar os gestores na busca pelo profissional correto.