Java / GWT development with tmpfs (or, why is my development slower because I've switched to Arch Linux)

I've recently switched from Ubuntu to Arch Linux (Antergos, really, as it provides a decent installer and nice defaults, and is just Arch in the end).
Arch uses systemd (the controversial init system that has caused lots of debates, but I have personally loved it), and since the upcoming 15.04 version, Ubuntu will use it too.
And systemd by default mounts the /tmp directory files using a tmpfs, which is mounted on RAM, limited by default to half the physical available memory. Also, in my installation (don't know if this is Arch's or Antergos' default), the /etc/fstab file also had the /tmp to be mounted as tmpfs.
This might be nice for most people, but if you run applications that store huge amounts of data in /tmp, it can be terrible.
In my case it is GWT which writes hundreds of megabytes to the temporary folder.
Result? When GWT is compiling Java to JavaScript code, things get SLOOOOOW, because:

• Eclipse uses1.0-1.5GB of RAM
• The GWT SuperDevMode, together with the running application, takes another 1.0-1.5GB
• Chrome uses 1.0-2.0GB of RAM with several open tabs (and when dev tools is open, it eats a lot of RAM too)

Counting up to 4GB (max) of tmpfs, and the desktop environment (Cinnamon in my case), Skype, DropBox and others, my 8GB quickly get short.

At least I found that I can improve things by disabling mounting /tmp as tmpfs.
To do that I've resorted, as usual, to the excellent Arch Wiki (by the way, one of the best pieces of documentation for any project I've ever seen): https://wiki.archlinux.org/index.php/Tmpfs.

I have removed the line in /etc/fstab which declares /tmp as tmpfs and created the /etc/tmpfiles.d/tmp.conf file with the following content:

# see tmpfiles.d(5)
# always enable /tmp folder cleaning
D! /tmp 1777 root root 0

# remove files in /var/tmp older than 10 days
D /var/tmp 1777 root root 10d

# namespace mountpoints (PrivateTmp=yes) are excluded from removal
x /tmp/systemd-private-*
x /var/tmp/systemd-private-*
X /tmp/systemd-private-*/tmp
X /var/tmp/systemd-private-*/tmp

Then we need to tell systemd to not mount /tmp as tmpfs automatically, with the following command:

systemctl mask tmp.mount

Afterwards, just rebooted the system and.... magic! I can nicely work with GWT compilation again.

As Ubuntu 15.04 will switch to systemd, and systemd by default mounts /tmp as tmpfs even without anything defined in /etc/fstab, this might affect Ubuntu too in the future. The same is true to other major distributions.

Generating DDL with EclipseLink JPA and PostgreSQL

I normally say that either the project I work on (http://www.cyclos.org) is too special or we're just unlucky with the default operation in most libraries we use.
As we need streaming BLOBs (we don't want to load entire images into memory), and EclipseLink by default doesn't handle streaming.

So I had to do a subclass of org.eclipse.persistence.platform.database.PostgreSQLPlatform. The following methods were implemented:

    @Override
    public Object getObjectFromResultSet(ResultSet resultSet, int columnNumber, int type, AbstractSession session) throws SQLException {
        String name;
        if (type == Types.BIGINT) {
            // May be a number or an OID
            name = resultSet.getMetaData().getColumnTypeName(columnNumber);
            if ("OID".equalsIgnoreCase(name)) {
                return resultSet.getBlob(columnNumber);
            }
        }
        return super.getObjectFromResultSet(resultSet, columnNumber, type, session);
    }

    @Override
    public void setParameterValueInDatabaseCall(Object parameter, PreparedStatement statement, int index, AbstractSession session) throws SQLException {
        if (parameter instanceof DatabaseField) {
            DatabaseField field = (DatabaseField) parameter;
            if (Blob.class.equals(field.getType())) {
                statement.setBlob(index, (Blob) null);
            } else {
                super.setParameterValueInDatabaseCall(parameter, statement, index, session);
            }
        } else if (parameter instanceof Blob) {
            statement.setBlob(index, ((Blob) parameter));
        } else {
            super.setParameterValueInDatabaseCall(parameter, statement, index, session);
        }
    }

    @Override
    public boolean shouldUseCustomModifyForCall(DatabaseField field) {
        if (Blob.class.equals(field.getType())) {
            return true;
        }
        return super.shouldUseCustomModifyForCall(field);
    }

    @Override
    @SuppressWarnings({ "rawtypes", "unchecked" })
    protected Hashtable buildFieldTypes() {
        Hashtable types = super.buildFieldTypes();
        types.put(Blob.class, new FieldTypeDefinition("OID", false));
        return types;
    }

This way we can control: small binary data is mapped in entities via byte[]. Large binary data, via java.sql.Blob.

Then, to generate the schema:

    EntityManagerFactoryImpl emf = (EntityManagerFactoryImpl) realEMF;
    DatabaseSessionImpl databaseSession = emf.getDatabaseSession();

    StringWriter sw = new StringWriter();
    SchemaManager schemaManager = new SchemaManager(databaseSession);
    schemaManager.outputDDLToWriter(sw);

    DefaultTableGenerator tableGenerator = new DefaultTableGenerator(databaseSession.getProject()) {
        @Override
        protected void resetFieldTypeForLOB(DirectToFieldMapping mapping) {
            // Hack to avoid the workaround for oracle 4k thin driver bug
        }
    };
    TableCreator tableCreator = tableGenerator.generateDefaultTableCreator();
    tableCreator.createTables(databaseSession, schemaManager);

    String script = sw.toString();

That DefaultTableGenerator inner class took me some hours debugging EclipseLink to figure out. The method comments says it is there to fix issues with oracle 4k thin driver. And it messed up the other use cases, as Blob was being handled as Byte[], and we want OID type specifically for Blobs.

Congratulations, Oracle! (facepalm)

The beauty of Querydsl: calling database functions

It's a common pattern to have a self-referencing table, in order to model an hierarchy tree. Now, sorting results by hierarchy, is an entirely different subject. Some databases, like Oracle, has the start with / connect by clauses. But to bring that to the JPA world is another different story. And imagine that with the über ugly JPA 2 criteria queries. I was already using Querydsl with JPA (using EclipseLink), and it allowed a very clean solution.

First, I brought database functions to the rescue, and wrote a function which receives an entity id, a table name, the name column and the parent id column. So, the function can be reused on any type of entity. As the DB is Postgres, here comes the code:

create or replace function name_hierarchy
    (p_id bigint, 
     p_table varchar, 
     p_name_col varchar, 
     p_parent_id_col varchar)
    returns varchar
    as $$
        declare
            sql text;
            current_id bigint;
            v_name varchar;
            v_parent_id bigint;
            path varchar[];
        begin
            current_id := p_id;
            while current_id is not null loop
                sql := 'select id, ' 
                     || p_name_col || ', ' 
                     || p_parent_id_col
                     || ' from ' || p_table 
                     || ' where id = ' || current_id;
                execute sql into current_id, v_name, v_parent_id;
                path := array_prepend(v_name, path);
                current_id := v_parent_id;
            end loop;
            return array_to_string(path, ' > ');
        end;
    $$ language plpgsql
    stable;

Then, I needed to create a Querydsl operator to represent the function. It contains a name and the argument types.

public class CustomOperators {
    public static final Operator<String>
        NAME_HIERARCHY = new OperatorImpl<String>(
            "name_hierarchy", 
            Long.class, String.class, String.class, String.class);
}

There was also a custom Querydsl templates class to actually convert that operator into JPQL code (note that EclipseLink uses FUNC('name', args...) to invoke native database functions):

    public static class CustomTemplates
        extends EclipseLinkTemplates {

        private static final CustomTemplates INSTANCE = 
            new CustomTemplates();

        public static CustomTemplates getInstance() {
            return INSTANCE;
        }

        private CustomTemplates() {
            add(CustomOperators.NAME_HIERARCHY, 
                "FUNC('name_hierarchy', {0}, {1}, {2}, {3})");
        }
    }

As the example entity is Configuration, the final plumbing needed is a method annotated with @QueryDelegate(Configuration.class), so the extension method can be created in any class:

    @QueryDelegate(Configuration.class)
    public static StringExpression 
        nameHierarchy(EntityPath<Configuration> configuration) {
        NumberPath<Long> id = (NumberPath<Long>)
            FieldUtils.readField(configuration, "id");
        return StringOperation.create(
            CustomOperators.NAME_HIERARCHY, 
            id,
            StringTemplate.create("'configurations'"),
            StringTemplate.create("'name'"),
            StringTemplate.create("'parent_id'"));
    }

Finally, I can use the nameHierarchy method anywhere on queries, like:

QConfiguration c = QConfiguration.configuration;
List<Configuration> configs = new JPAQuery()
    .from(c)
    .orderBy(c.nameHierarchy.asc())
    .list(c);

Looks like that nameHierarchy method was always there, doesn't it? And the same idea can be reused on any other function, seamlessly blending them on the query metamodel. Now try to make something similar with JPA's criteria api!

Replaced Hibernate as JPA provider... To never look back!!!

Hibernate is probably the most well-known ORM tool for Java. I first used it on version 1.X back on 2002. It even influenced the JPA (Java Persistence API), which is a standard ORM API.
The problem is: the application (has about 200 entities) was taking up +- 350MB of heap size on startup right after forcing a garbage collect (using jvisualvm).
That was too much. But things would improve. There was a setting which I've always mislooked as a batch size equivalent, called hibernate.default_batch_fetch_size, which we had with value 20.
After some investigation, I found it was used to load several records at once, at the expense of memory. So, just to test out, I changed it to 1 and, surprise... The same application was now taking up +- 150MB! What a change for something misunderstood!
But I was not satisfied, and decided to try another JPA provider. From some researches, I decided to go with EclipseLink. Result? The same application now starts up (after a garbage collection) with +- 35 MB!!!
Ok, what a huge difference! But performance should be worst, shouldn't it? No!!! On the load tests I did, EclipseLink was actually 2.5x faster than Hibernate!
There were some bumps, several queries were done with some non-standard (from JPA's point of view) elements, and so on. But they all could be resolved, one at a time.
Conclusion: After being a loyal Hibernate user for several years (well, not that loyal, as some projects I did with plain JDBC using Querydsl SQL module), I'll now try to avoid it as much as possible, and use EclipseLink instead. Even a future possibility is Batoo JPA, which claims to be 15-20x faster than Hibernate. However, as it cannot be used with Spring's LocalContainerEntityManagerFactoryBean (at least for now, as it requires a persistence.xml, and I like bootstrapping things programmatically), I'll stick with EclipseLink for now.

Tutorial: Instalando o Cyanogen Mod no LG Optimus ME (P-350) pelo Linux

Tenho um telefone LG Optimus ME (P-350, pecan), e o sistema dele ficou progressivamente mais lento, ao ponto de me fazer aventurar pelo mundo dos ROMs customizadas.
Procurei por aí e só vi tutoriais para aquele sistema operacional da tela azul. Como ele não é muito bem vindo por aqui, tive que experimentar um pouco, e resolvi reportar os passos aqui.
Se você tem este telefone, usa o Linux e quer instalar o Cyanogen Mod, aqui vão os passos. Eles foram realizados no Ubuntu 12.04 Precise Pangolin, mas podem facilmente ser adaptados a outras distribuições.

Atenção: como de costume, estes passos funcionaram para mim, e não me responsabilize caso algo não dê certo... Além disso, obter acesso root no aparelho provavelmente invalide a garantia do aparelho. Siga por sua conta e risco.
Atenção 2: ao realizar este processo, TODOS os dados (contatos, aplicativos, etc) do telefone serão perdidos. Faça um backup de seus dados antes.

1. Acesso root no aparelho

Baixe o aplicativo Gingerbreak, versão 1.20 em http://forum.xda-developers.com/showthread.php?t=1044765. Para instalá-lo, você necessita da opção de permitir instalar aplicativos de fontes desconhecidas. Se preferir, baixe o apk usando o seu computador, copie-o para o cartão SD e instale-o com um aplicativo como o AppInstaller.

Uma vez instalado, Habilite o debug por USB em Configurações > Aplicações > Desenvolvimento e certifique-se de ter um cartão SD montado. Rode o aplicativo, selecionando a opção de root. Depois disso, o aparelho vai reiniciar, já com o acesso root obtido.

2. Obtendo e configurando o ADB

O ADB é um comando que permite executar comandos no celular quando ele está conectado por USB ao computador. Seguindo o que está descrito em http://forum.xda-developers.com/showthread.php?t=1067273, baixe o arquivo http://forum.xda-developers.com/attachment.php?attachmentid=588859&d=1304719623 e extraia o zip para um caminho executável, por exemplo, com o comando:

sudo unzip fastboot-and-adb.zip -d /usr/bin

Depois, é necessário configurar o UDEV para reconhecer o dispositivo. Para tal, baixe o arquivo http://www.joescat.com/linux/51-android.rules, copie-o para o local correto e edite-o, com os seguintes comandos:
sudo cp 51-android.rules /etc/udev/rules.d/
sudo chown root:root /etc/udev/rules.d/51-android.rules
sudo chmod 644 /etc/udev/rules.d/51-android.rules
gksu gedit /etc/udev/rules.d/51-android.rules

Agora, com o editor de textos, remova o comentário na linha logo abaixo do fabricante LG, para que fique assim:

# LG Ally/Optimus One/Vortex/P500 618f, 618e=(debug)
ATTRS{idVendor}=="1004", ATTRS{idProduct}=="618e", ENV{adb_matched}="yes"

Depois, execute sudo /etc/init.d/udev restart

Talvez seja necessário instalar a versão 32 bits do libncurses se você estiver usando o Linux em 64 bits. Caso tenha algum problema executando o adb, rode sudo apt-get install libncurses5:i386

Teste o adb com o telefone conectado por USB. Depois, rode no console: adb devices
Você deve ver 1 linha abaixo de "List of devices attached".

3. Obtendo o custom recovery e a ROM

Primeiro, baixe o custom recovery. Neste caso, usei o AmonRA custom recovery. Para o p350, pode-se usar o seguinte link: http://leaveme.in/wp/wp-content/uploads/2012/01/recovery-RA-pecan-2.2.1-GNM-drap.img_.zip.
Dentro do zip, tem os arquivos flash_image e recovery-RA-pecan-2.2.1-GNM-drap.img. Copie ambos para a raiz do cartão SD.

Você também vai precisar da ROM do Cyanogenmod e do Google Apps (para ter acesso, por exemplo, ao Google Play). Baixe ambos. O GApps, conforme o wiki do próprio Cyanogenmod pode ser baixado de http://cmw.22aaf3.com/gapps/gapps-gb-20110828-signed.zip. Já a ROM eu usei esta aqui: http://forum.xda-developers.com/showthread.php?t=1610605.

Copie também ambos os arquivos zip (do Google Apps e do ROM) para a raiz do cartão SD, sem extrair nenhum.

4. Flash da imagem e acesso ao custom recovery

Com o flash_image, o .img do AmonRA recovery e os zips do ROM do Cyanogenmod e do Google Apps todos na raiz do cartão SD, vamos aos comandos pelo ADB. O debug USB tem que estar ativo.

$ adb shell

su

mount -o remount,rw -t yaffs2 /dev/block/mtdblock1 /system

cat /sdcard/flash_image > /system/bin/flash_image

chmod 755 /system/bin/flash_image

sync

flash_image recovery /sdcard/recovery-RA-pecan-2.2.1-GNM-drap.img

sync

reboot recovery

Você vai ver a tela do recovery, que é um menu com algumas opções que podem ser navegadas com as teclas de volume, e confirmadas com o botão menu.

Faça um backup da sua imagem atual (tem essa opção no menu inicial do recovery). Depois, temos que limpar os dados anteriores do telefone. Isto é muito importante, o telefone pode não bootar sem isto!
Vá na opção Wipe e selecione as seguintes opções, uma a uma:
Wipe ALL data/factory resetWipe Dalvik-cache
Wipe battery stats

Com o botão voltar no telefone, volte ao menu anterior e selecione 
Flash zip menu, e depois Choose zip from sdcard. Selecione o zip com o ROM do Cyanogenmod.
Espere terminar e novamente selecione Choose zip from sdcard e selecione o zip com o Google Apps.
Depois, volte e selecione Reboot system now.

Você verá o pinguinzinho do Linux e depois o splash do Cyanogenmod. O primeiro boot demora bastante. Dá uma tensão, mas é assim mesmo. Depois disso, bem vindo ao seu novo sistema!!!

5. Dica: atualizando o ROM

Você pode ficar monitorando a página do ROM para ver se saiu uma nova versão. Caso tenha saído, basta baixá-la e colocá-la na raiz do cartão SD (apague a anterior caso ainda esteja lá para não se confundir). Depois, pressione o botão de desligar por alguns segundos, selecione Reiniciar > Recuperação.

Após o boot, aparecerá a tela do recovery. Limpe o Dalvik cache, na opção Wipe (isto é muito importante!!!), e vá no Flash zip menu, selecionando o arquivo zip contendo o ROM. Reinicie e pronto!

6. Dica: aumentando a duração da bateria

É possível fazer uma recalibragem da bateria. Basta carregar até 100% (não se engane pelo ícone verde, vá em Configurações, Sobre o telefone, Status e veja se está totalmente carregada). Depois reinicie no recovery (da mesma forma como no item anterior) e selecione Wipe, Wipe battery stats. Reinicie o telefone (de preferência com o carregador ainda ligado).

Quando o telefone tiver iniciado totalmente, remova o carregador e deixe a bateria acabar totalmente (o telefone desligar por causa dela). Depois carregue-o e use-o normalmente. No meu caso, tenho cerca de 5 dias com cada carga.

Considerações finais

Espero ter ajudado. Muitos tutoriais por aí ensinam a fazer este processo pelo Windows, mas pra que precisar de um Windows para configurar o telefone que roda Linux? ;-)

Yet another Internet Explorer issue: Java applets created by JavaScript

In Cyclos, I've been working to implement support for printing in a local receipt printer.
We found the jZebra project which is a Java applet that prints in a receipt printer on the local computer.
So, as this is an optional feature, and will only be used by few users, we didn't want to load the applet on every page. Instead, only when the user clicks print, the applet tag is created and appended to the document with JavaScript (using document.createElement("applet") and friends).
Then, the usual sequence:

• Test in Firefox: check.
• Test in Chrome: check.
• Test in Opera: check.
• Find a computer running windows somewhere to test in Internet Exporer: fail.

Why I wasn't surprised?

When adding the applet through JavaScript, MSIE somehow doesn't makes the public applet methods visible for JavaScript. So, no .findPrinter(), no .append(), no .print(). 

Result? As this feature won't be used by most users, we decided to disable it on MSIE, at least until some workaround is found. ..

What a revange!

Atualizando o firmware do LG Optimus ME (P350) com VirtualBox no Linux

Eu comprei recentemente um celular LG Optimus ME (P350), que vem com o Android 2.2.2.
O problema é que ele vem com o firmware bem desatualizado 10a. Ele tem um bug que, ao tocar na tela, a cpu vai lá em cima... Emfim.
Baseei-me neste post para realizar o procedimento: http://www.sleetherz.com/2011/09/how-to-update-lg-optimus-p350-to-firmware-v-10c/
Mas tem um detalhe extra: Como não tenho o windows instalado (uso somente o Linux), e o software é só para windows, temos um probleminha. Mas, como nem tudo é perfeito, tenho um VirtualBox com um winxp pra esses casos... Então tá.

Atenção! Este procedimento foi o que eu fiz, e funcionou para mim. Não me responsabilizo caso dê algo errado...

Primeiro: Quando o telefone está em modo de emergência, ele é detectado pelo Linux como um modem. Assim, o kernel sobe o módulo cdc_acm, para poder utilizar o dispositivo. O problema é que se o Linux usa o dispositivo, não tem como ele ser usado pelo VirtualBox. Então, a primeira coisa a fazer é impedir o carregamento desse módulo. Edite o arquivo /etc/modprobe.d/blacklist.conf e adicione a seguinte linha:
blacklist cdc_acm. Depois que o procedimento terminar, você pode remover essa linha.

Segundo: Tenha o VirtualBox com o Extension Pack instalado. Dê uma olhada na página de downloads: http://www.virtualbox.org/wiki/Downloads.

Agora, execute estas operações dentro da máquina virtual:

1. O artigo no qual me baseei recomenda que o micro esteja desconectado da Internet. No VirtualBox, basta ir em Dispositivos > Adaptadores de Rede e desmarcar o Cabo conectado.
2. Baixe o firmware em http://www.lg-phones.org/lg-optimus-me-firmwares-download.html. Instalei o 10c por ser o último com suporte a português do Brasil. Mas tem até o 10f.
3. Baixe o driver da LG para o telefone: http://www.mediafire.com/?qvdbresp5nntb6x.
4. Baixe o KDZ firmware uploader: http://www.unclenet.de/files/KDZ_FW_UPD_EN.7z.
5. Instale o driver da LG.
6. Extraia o KDZ_FW_UPD_EN.7z.
7. Instale o msxml.msi que está dentro do arquivo do KDZ.
8. Com o telefone desligado e desconectado da porta usb, segure as teclas de aumentar volume, baixar volume e ligar ao mesmo tempo.
9. O telefone vai iniciar em modo de emergência.
10. Conecte o telefone no micro pela porta USB.
11. Passe o controle do dispositivo USB para o VirtualBox: No menu Dispositivos > Dispositivos USB, Marque o telefone LG.
12. Execute o programa KDZ_FW_UPD.exe, que está dentro do arquivo do KDZ.
13. Selecione as opções  3GQCT no “Type” e DIAG no “PhoneMode”.
14. Selecione o arquivo do firmware (V10C_00.KDZ no meu caso).
15. Inicie a atualização. O post no qual eu me baseei diz que caso haja algum problema, pode-se tentar com o telefone sem a bateria.
16. No meio da atualização, o telefone é desligado. O controle do dispositivo deve novamente ser passado para o VirtualBox (Dispositivos > Dispositivos USB, como anteriormente). Não sei quanto tempo você tem para fazer isso antes que o KDZ desista, portanto, esteja atento!
17. Agora ele deve ir até o fim...

A primeira vez que o telefone é ligado, demora bastante para iniciar. Paciência!

Ah, não esqueça de remover a linha no /etc/modprobe.d/blacklist.conf.

Era isso.