Gabi und Sascha
Kategorien : Alle | Berlin | Bücher | Fotografie | Java | Linkhalde | Weichware | Verfassung

Angenommen ich habe ein R data.frame DF mit den Spalten A, B und C. Ich möchte nun alle Zeilen aus DF deren Spalte B den Wert "Closed" hat und in Kombination mit Zeile A doppelt vorkommt.

Mein Lösungsweg:

  1. Ein data.frame erzeugen, der nur die Spalten A und B enthält:
    sl <- data.frame(A = DF$A, B = DF$B)

  2. Filtern nach Zeilen, die nur B == "Closed" entsprechen:
    slc <- sl[which(sl$B == 'Closed'),]

  3. Im letzten Schritt die doppelten Zeilen ermitteln: slcd <- slc[duplicated(slc),]

Noch so ein R Problem gelöst. Wieder mit dem plyr API.

Ich habe ein data.frame mit den Spalten für Jahr, Monat und Laufzeit. Für jede Jahr-Monats Kombination gibt es eine unterschiedliche Anzahl von Laufzeitwerten. Die Laufzeit der Jahr-Monatskombination möchte ich nun in einem Reihenboxplot visualisiert darstellen.


    year month duration
    2016     6      345
    2016     6      378
    2016     6      501
    2016     6      390
    2016     6      333
    2016     6      321
    2016     5      401
    2016     5      378
    2016     5      390
    2016     5      331
    2016     5      345
    2016     4      411
    2016     4      428
    2016     4      190
    2016     4      231

Für den Boxplot muss ich die Daten allerdings anders organisiert haben. Die Daten für die Laufzeitwerte eines Monats müssen in jeweils einem Vector innerhalb einer Spalte gespeichert werden. Ausserdem benötige ich nicht alle Monate, sondern nur die Daten der beiden letzten Monate (5 und 6).


      5    6
    401  345
    378  378
    390  501
    331  390
    345  333
     NA  321

Um dies zu erreichen erzeuge ich zuerst eine leere Liste:


    li <- list()

Im Anschluss durchlaufe ich die Ursprungsliste in einer Schleife und weise die jeweiligen Laufzeitwerte der neuen Liste l zu:


    for (i in 5:6) {
        li[[i-4]] <- with(dur, dur$duration[dur$month == i])
    }

Die so erzeugte Liste aus Vektoren wandel ich jetzt in einen data.frame um:


    dur.df <- ldply(li, rbind)

Das Ergebnis sieht jetzt so aus:


      1   2   3   4   5   6
    401 378 390 331 345  NA
    345 378 501 390 333 321

MIttels des transpose Befehls t(…) kann die Matrix so angepasst werden, dass aus den Zeilen Spalten werden:


    dur.dft <- t(dur.df)

Damit kann jetzt der Boxplot mittels boxplot(dur.dft)erzeugt werden:

Unsicherheit

Da for Schleifen in R eher selten sind bleibt die Unsicherheit, ob die Lösung die eleganteste ist. Fürs Erste allerdings reicht es.


CSV Datei und Code zum selber ausprobieren.

Ich habe ein kleines Programm geschrieben, um CSV Dateien mit SQL Befehlen von der Kommenadozeile ad-hoc zu untersuchen: sql4csv. Ziel war es ein Query wie das folgende von der Bash Kommandozeile ab zu setzen:


    > scq select distinct author from books.csv

Das Ergebnis wird dann wieder in Form einer CSV Datei ausgegeben:


    author  
    Douglas Adams  
    Terry Pratchet

Bei der Entwicklung habe ich Wert auf einfache Verwendung gelegt. So soll es nicht nötig sein die Werttypen (integer, numeric oder Datumsangaben) der Spalten vor der Benutzung. Vielmehr soll dies das Tools möglichst selbst erkennen und die Spaltentypen entsprechend anpassen. Damit sollen auch Abfragen wie


    > scq select ABC from xyz.csv where VALUE < 10

möglich sind.

Für integer und numeric Typen ist das auch ohne grosse Probleme möglich. Kniffelig ist es bei Datums- und Zeitabgaben. Hier gibt es zig unterschiedliche Formate. Deswegen habe ich mich für einen pragmatischen Weg der Umsetzung entschieden: es werden aktuell die drei für mich wichtigsten Datumsformate für den Gregorianischen Kalender unterstützt :-)

Datums- und Zeitformate

  • Y - steht für das Jahr. Jahre werden immer vierstellig angegeben
  • M - steht für den Monat
  • D - steht für den Tag im Monat
  • h - steht für Stunden
  • m - steht für Minuten
  • s - steht für Sekunden

Datumsangaben

YYYY-MM-TT

ISO 8601 ähnlich.

Unterstützt wird auch eine sogenannte lazy Schreibweise, bei der auf einen führende Null (0) bei Zahlen unter 10 verzichtet werden kann. Dies bedeutet, dass auch ein Datum 2016-9-6 als 6. September 2016 erkannt wird.

MM/DD/YYYY

Amerikanische Datumsschreibweise.

Wie bei der ISO 8601 Schreibweise wird auch hier eine lazy Schreibweise ohne führende Null unterstützt.

DD.MM.YYYY

Entspricht der numerischen DIN 5008.

Wie bei der ISO 8601 Schreibweise wird auch hier eine lazy Schreibweise ohne führende Null unterstützt.

Zeitangaben

Zeiten werden immer mit einem Doppelpunkt getrennt. Dabei unterstützt sql4csv nur die Reihenfolge hh:mm:ss. Dieses Format allerdings auch lazy, also ohne führende Null und die Sekunde kann ebenfalls weggelassen werden. In diesem Fall wird die Sekunde intern auf Null gesetzt..

Zeitstempel

Zeitstempel sind eine Kombination aus Datum und Zeit. sql4csv erlaubt alle Kombinationen von Datums- und Zeitangaben. Dabei kann als Separator das ISO 8601 T verwendet werden oder ein Leerzeichen.

Beispiele

  • 2016-7-3 1:16
  • 8/30/1969T23:5:07
  • 11.11.2011 11:11:11

Implementierung

sql4csv wurde in Java 8 implementiert. Ich habe es auch geschrieben, um die neuen Sprachfeatures von Java 8 in der Praxis zu lernen und anzuwenden. So kommen intensiv Lambdas zum Einsatz und auch Methodenreferenzen. Die gesamte Datums- und Zeitbearbeitung basiert auf dem java.time API.

Als Datenbank verwende ich Derby als in-memory Datenbank. Ich verwende nicht SQLite - wie dies einige andere Implementierungen für ein solches Tool tun - da dies entweder eine vorhandene Installation von SQLite voraussetzt oder ich die Binaries für die unterschiedlichsten Plattformen mitliefern müsste. Das ist zu kompliziert und wird der Einfachheit des Werkzeuges nicht gerecht.

Probleme

SQL Queries und die Bash als Kommandozeileninterpreter vertragen sich nur mässig miteinander. Beispielsweise interpretiert die Bash das Asterisk Zeichen (*) anders als in SQL vorgesehen. Und diese Interpretation kann auch nicht einfach ausgeschaltet werden. Ein Query wie


    > scq select * from books.csv where author = 'Douglas Adams '

ist nicht möglich. Die Bash ersetzt das * Zeichen durch die Dateinamen des aktuellen Verzeichnisses. Als Abhilfe kann das Hilfstool scq-cols verwendet werden:


    > scq select $(scq-cols books.csv) from books.csv where author = 'Douglas Adams'

Das ist nicht schön, aber eine pragmatische Lösung. Nach einigen malen benutzen hatte ich mich daran gewöhnt.

Ebenso müssen runde Klammern (z.B. für Gruppierungen) und spitze Klammern <> für grösser und kleiner Vergleiche durch eine Backslash (\) maskiert werden. Insgesamt kann durch diese Einschränkungen die Lesbarkeit des Queries beeinträchtigt werden.

Download und Installation

Im sql4csv Repository auf Github findet ihr eine Download und Installationsanleitung, um das Tools selbst einmal ausprobieren zu können.

Mit meinem kleinen R Projekt geht es weiter. Ich hatte die folgende Situation: Ich habe die Zeitpunkte mehrere Statusübergänge eines Issues in einer denormalisierten Tabelle. Dabei kommt der Status created pro Issue exakt einmal vor. Zusätzlich habe ich noch die Dauer, die ein Issue in dem jeweiligen Status war. Ich will nun die Dauer und den created Zeitpunkt behalten. Alle anderen Zeitpunkte und auch sämtliche Status benötige ich im weiteren Verlauf nicht mehr.

Die Ausgangstabelle X sieht ungefähr so aus:


      IssueID                Date  Status Duration
            A 2016-08-09T14:33:09 created        0
            A 2016-08-19T09:21:11    open   845282
            A 2016-08-19T16:01:53  closed    24042
            A 2016-08-21T16:06:12    open   172800
            A 2016-08-25T08:13:45  closed   345600
            B 2015-09-23T12:22:21 created        0
            B 2015-09-25T07:11:01    open   172800
            B 2015-10-01T14:05:28  closed   518400

Ziel ist eine Tabelle, in der Duration der einzelnen Issues aufsummiert sind und das Date von created erhalten bleibt als CreationDate. Also in etwa so:


    IssueID,CreationDate,Duration
    A,2016-08-09T14:33:09,1387724
    B,2015-09-23T12:22:21,691200

Stellt sich heraus: das ist mit R nicht trivial zu lösen, aber auch nicht unmöglich.

1. Schritt

Im ersten Schritt erstelle ich ein Subset ausschliesslich dür den Status created:


    created.datetime <- subset(X, Status == "created", select = c("IssueID", "Date"))

2. Schritt

Im zweiten Schritt wird in die Tabelle X eine neue Spalte CreationDate eingefügt mit den Werten aus der Tabelle created.datetime:


    X$CreationDate <- created.datetime[match(X$IssueID, created.datetime$IssueID), 2]

3. Schritt

Im dritten und letzten Schritt verwende ich das plyr API, um die Tabelle zu reduzieren. Das API wurde zuvor installiert und mittels library(plyr) eingebunden.

Der entsprechende Code sieht wie folgt aus:


    reduced <- ddply(X,
                     c("IssueID", "CreationDate"),
                     function(t) data.frame(Duration = sum(t$Duration))
    )

Der Übersichtlichkeit halber habe ich den Code in 3 Zeilen dargestellt.

Das Ergebnis sieht wie folgt aus:


    > reduced
      IssueID        CreationDate Duration
    1       A 2016-08-09 14:33:09  1387724
    2       B 2015-09-23 12:22:21   691200

Fazit

Ich bin immer mehr begeistert von R. In Java hätte ich für diesen 3-Zeiler sicherlich ein vielfaches an Code produziert.


Zum selber ausprobieren der Sourcecode zum download.

Ich arbeite mich gerade ein wenig in R ein, da ich Daten aus CSV Dateien statistisch aus­werten möchte. Dabei habe ich viel mit Datums­angaben zu tun. Im Folgenden ein paar Notizen die ich mir bisher gemacht habe

Datentyp in Spalte eines data.frame ändern

Beispiel: in einem data.frame existiert die Spalte Date. Beim Einlesen aus einer CSV Datei wird diese als kategorialer String erkannt.


    Date,Status,Solution
    2016-08-09T14:33:09,created,fixed
    2015-08-09T14:33:09,blocked,won't fix

Einlesen: df <- read.csv("date.csv", header=T)

Mittels des Kommandos


    df$Date <- as.Date(df$Date)

werden alle Werte umgewandelt.

Datetime umwandeln

Die R Klasse Date repräsentiert nur ein Datum. Für Datetime sind die beiden Klassen POSIXct und POSIXlt vorhanden. Beide halten Daten unter­schiedlich, liefern ansonsten allerdings ähnliche Funk­tionalität.

Umgewandelt wird wie folgt:


    df$Date <- as.POSIXct(strptime(df$Date, "%Y-%m-%dT%H:%M:%S"))

Als Defaultformat wird das ISO 8601 lang Format (mit Binde­strichen und Doppel­punkten) verwendet. Aller­dings mit dem Unter­schied, dass nicht der Standard­delimiter T verwendet wird, sondern ein Leer­zeichen. Beispiel: 2016-08-09 14:33:09. Aus diesem Grund kommt die Funktion strptime zum Einsatz, der das entsprechende Muster ("%Y-%m-%dT%H:%M:%S") mit T als Delimiter über­geben wird. Wird dies nicht in dieser Art und Wiese gemacht, wird nur das Datum ermittelt und die Zeit auf 00:00:00 gesetzt.

Jahr aus Date ermitteln


    df <- within(df, YEAR <- as.numeric(format(df$Date, "%Y")))

Fügt gleichzeitig eine neue Spalte (YEAR) in den data.frame ein. Dies liesse sich auch mittels df$YEAR <- as.numeric(format(df$Date, "%Y")) erledigen. Der Vorteil von transform ist, das mehrere Änderungen gleichzeitig durchgeführt werden können:


    df <- within(df, YEAR <- as.numeric(format(df$Date, "%Y")),
                     MONTH <- as.numeric(format(df$Date, "%m")))

Wochentag (numerisch) mit Basis 1 für Montag berechnen


    df <- within(df, DOW <- ifelse((d = as.numeric(format(df$Date, "%w"))) == 0, 7, d))

Funktion holt aus einem Datum eines data.frames den Wochentag (as.numeric(format(df$Date, "%w"))) und weisst ihn einer Hilfsvariablen zu. Diese wird verglichen mit 0, da POSIX Date eine 0 für Sonntag zurück gibt. Ist der Wert 0 wird eine 7 zurück geliefert, ansonsten der Wert der Hilfsvariablen.

Kalenderwoche ermitteln

  • Mittels der Funktion format(Sys.Date(), "%V") kann die ISO 8601 Kalenderwoche ermittelt werden.
  • Mittels der Funktion format(Sys.Date(), "%U") kann die US Kalenderwoche ermittelt werden.

Ausgabe ist chr. Mittels as.numeric(…) in Zahl umwandeln.

Snippet um neue ISO WEEK Column in df ein zu fügen


    df <- within(df, WEEK <- as.numeric(format(df$Date, "%V")))

Subset aus data.frame

Ein Subset aus Zeilen eines data.frame, bei denen die Zellen einer Column einem Wert entsprechen. Zwei mögliche Lösungen:


    rows1 <- df[df$Status == "created", ]
    rows2 <- subset(df, Status == "created")

Vorteil der subset Funktion: Mittels des Parameters select können Spalten definiert werden, die in rows2 übernommen werden sollen:


    rows2 <- subset(df, Status == "created", select = c("Date", "Solution"))


Neben R verwende ich auch noch Bash Kommandos und sql4csv für die Bearbeitung von CSV Dateien. Für die Datenerhebung verwende ich unter anderen jan.

Gerade schlug mir Netbeans vor das folgende Codeschnipsel in einen Lambda Ausdruck umzuwandeln.


    private final Map originalToReplacement = new TreeMap<>(new Comparator<String>() {
        @Override
        public int compare(final String s1, final String s2) {
            return s1.length() - s2.length();
        }
    });

Das Ergebnis würde so aussehen:

    private final Map originalToReplacement =
            new TreeMap<>((String s1, String s2) -> s1.length() - s2.length());

Keine Frage, die Lambdaschreibweise ist wesentlich kürzer. Allerdings finde ich sie auch noch nicht so verständlich wie die lange Version. Fürs Erste habe ich mich entscheiden in diesem Fall keinen Lambda Ausdruck zu verwenden.

[ZWEI JUNGS (14-17 JAHRE) SPIELEN IM REGEN AUF DEM ALEXANDERPLATZ.]
 

Nachdem der Git Daemon extra mittels


    $ sudo yum install -y git-daemon

nachinstalliert wurde, schlagen Netzwerkverbindungen zum pullen/fetchen der Repositorydaten fehl.

CentOS 7 ist etwas strenger was die Sicherheit angeht. Der Git Daemon dort lauscht zwar standardmässig an Port 9418, kann aber nicht von aussen angefragt werden. Fehlermeldung: "Connection refused". Die Firewall hat zugeschlagen. Damit es doch geht die Firewall-Zone auf 'trusted' stellen. Achtung: das kann Angreifern eventuell Tür und Tor öffnen.

Ich lasse CentOS 7 in einer gebridgten VM laufen, damit Kollegen mittels Git auf die Repositories zugreifen können. Siehe auch Mit Git und Lieutenantsystem auf master entwickeln.

Die Firewall-Zone kann über 'Systemwerkzeuge → Einstellungen → Netzwerk → Kabelgebunden → Options (kleines Sternicon unten rechts) → Identität → Firewall-Zone' eingestellt werden. Bitte auf das korrekte Netzwerkinterface achten.

Git dezentraler Ansatz eignet sich hervorragend für die schnelle Entwicklung im CD (Continuous Delivery) Umfeld. Leider wird Git in den meisten Ent­wicklungs­prozessen als zentralistisches Versions­verwaltungs­werk­zeug eingesetzt und verliert damit seinen entscheidenden Vorteil gegenüber Systemen wie zum Beispiel Subversion.

Im CD Umfeld macht es Sinn nur auf master zu entwickeln. Insbesondere wenn zum Beispiel nur Inhouse Projekte entwickelt werden. Branches haben die unangenehme Eigen­schaft, dass sie zu grossen Än­derungen verleiten und damit ein CD System konter­karieren.

Da meiner Meinung nach ein zentrales Repository für CI (Continuous Integration) System wie Jenkins oder Bamboo Sinn macht musst der Prozess des ausschliesslichen entwickeln auf master durch den Einsatz der dezentralen Möglichkeiten von Git umgesetzt werden.

Grösstes Problem ist der Austausch der entwickelten Artefakte zwischen den Entwicklern ohne über ein zentrales Repository zu gehen, wenn Branches nicht gewünscht sind und jeder Commit auf dem zentralen master einen Release Build mit anschliessendem Blau-Grün Deployment auslöst.

Für diese Problem bringt Git die nötigen Werkzeuge von Haus aus mit.

Lokales Repository remote verfügbar machen


    $ mkdir repos
    $ cd repos
    $ git daemon --base-path=. --export-all --verbose

In der erste Zeile wird ein neues Verzeichnis für die Repositories angelegt und dan in das Verzeichnis gewechselt. In dieses Verzeichnis werden später die remote-Repositories mittels git clone oder mittels git fetch geholt.

Entscheidend ist die letzte Zeile. Mittels git daemonwird ein einfacher Git interner Server (Daemon) gestartet. Dieser lauscht per default auf Port 9418.

Die Kommandoschalter und ihre Bedeutung im Einzelnen:

  • --base-path - exportiert Repositories aus dem angegebenen Ordner. In diesem Fall das Verzeichnis in dem der Daemon gestartet wird.
  • --export-all - exportiert alle Repositories im angegebenen Ordner.
  • --verbose - Jede Operation auf dem Server wird auf der Konsole ausgegeben.

Darüber hinaus bietet das daemon Unterkommando noch weitere Schalter. Diese sind im ersten Schritt allerdings nicht wichtig.

Der lauschende Daemon meldet sich mit der PID und der Meldung 'Ready to rumble'.

In einer weiteren Konsole clont der Entwicker isk jetzt ein Repository vom zentralen Git Server im repos Verzeichnis:


    $ cd repos
    $ git clone http://cetral.repo/general_problem_solver.git

Die entfernte Git Clients der Kollegen können jetzt beginnen anonym fetch und clone Operationen auf den Repositories in repos Verzeichnis auszuführen. push Operationen sind nicht möglich. push Operationen müssen explizit mittels Kommandozeilenparameter erlaubt werden.

Lieutenant fetcht mittels remote Verbindung

Angenommen ein Kollege hat bereits den master Branch des zentralen Repositories geclont (origin). Der er aktuell der Lieutenant ist und als einziger in den zentralen master Branch pushen darf, muss er den Entwicklungsstand der Kollegen auf Zuruf mittels fetch ziehen können. Hierzu richtet mittels des Git remote Kommandos eine entfernte Verbindung ein. Dabei wird der Verbindung ein bestimmter Name gegeben.


    $ git init
    Initialized empty Git repository in /home/sascha/repos/.git/
    $ git remote add isk git://192.168.1.127/general_problem_solver

IP Adressen und Namen können einfach per Chat ausgetauscht werden.

Bevor eine remote Verbindung zugefügt werden kann, muss ein leeres Verzeichnis mittels git init initialisiert werden. Ansonsten meldet git remote add … einen Fehler.

Ist das Verzeichnis initialisiert, wird die remote Verbindung eingerichtet.

Wichtig: die Endung .git fehlt im Verzeichnisnamen des entfernten Git Repositories.


    $ git fetch isk

Das Kommando zieht jetzt den Inhalt des entfernte Repositories. Mittels eines git checkout master wird in den master Branch gewechselt. Änderungen können einem Review unterzogen werden. Nach einem erfolgreichen Testlauf werden die Änderungen in das zentrale Repository gepusht. Das CI-System kann die Build- und Deploymentpipeline starten. Wurde das Blue-Green Deployment erfolgreich durchgeführt, kann ein eventuell anhängiges Ticket approved werden.

Und dann war da noch der Astrophysiker, der als Softwarearchitekt arbeitete. «Es gibt keine Softwarearchitektur.» war sein Mantra, «Alles organisiert sich von selbst. Wie das Universum.» Kann sein, war mein Gedanke und antwortete: «Klar. Das Universum hatte auch 13 Milliarden Jahre Zeit. Bin mir nicht sicher, ob die Firma so lange Zeit hat.» Hatte sie nicht.

Ich hatte einen komischen Traum. Ich bin im Grunewald spazieren gegangen. Plötzlich stand ich vor einem verlassenen Gelände des U.S. Militärs, ein Lauschposten, direkt an der Grenze, die durch den angrenzenden Bach ging. Das Gebäude stand und sah aus wie ein überdimensionierter, weisser Bienenkorb. Neben dem Eingang in den Bienenkorb, der eine Eichentür war, hing eine Gedenktafel auf der Stand: «Dem Gedenken an die Opfer des übermässigen Genusses der Betelnuss.» Darunter waren die Namen und Geburts- und Sterbedaten einer Familie in blauer Schrift auf weisser Emaille. Die Namen waren persisch - oder was ich mir einbilde persisch zu sein. Ein Toter war ein 13 jähriger Junge, er starb am 14.5.1978. Seine Eltern starben am 17.5.1978. An die Geburtsdaten kann ich mich mehr erinnern, nur noch an den des Sohn und dass der Vater 78 Jahre alt geworden ist.

Als ich wach geworden bin, musste ich mich erst mal schlau machen, was die Betelnuss genau ist. Ich verbinde nichts mit den beiden Tagen im Mai 1978. Ich war noch nie im Grunewald.

[KINDER SPIELEN IN "LA CALETA" AUF TENERIFFA VOLLEYBALL AUF EINEM PLATZ VOR HÄUSERN. EIN MÄDCHEN RENNT DYNAMISCH DEM BALL HINTERHER UND VERSUCHT IHN ZU BAGGERN.]
 

["ANDROID GBC BALL COUNTER LOGO - BÄLLE (FUSSBALL, BASKELBALL) IN EINEM SIGMA ZEICHEN.] In the last few weeks I had developed an Android based counter for Lego® Great Ball Contraption systems. The counter should measure contactless the throughput of passing balls.

The hypothesis was: a colored or white Lego ball moves in front of a black background. The Android system camera captures every X milliseconds an image. The first image is captured with no passing ball and the image data is stored in memory for comparison. Every following image is checked for color changed against the first image. If the amount of pixels with a changed color (against the background from the first image) reached a percentage threshold, the ball count will be increased by one. Because of the camera sensor noise the color change value must also reach a threshold to be measured. In the implementation these two parameters can be configured. This improves the detection rate depending on the light environment of the GBC setup.

Measure the color change also reduces false positive ball counts because of environment light changes.

Nevertheless, Lego® also offers not only colored balls but also black and white only balls (footballs/soccer balls). If the user has also black and white balls he can also switch on a brightness detection based on the luminance. This follows the same rules like the color change detection but has a different threshold configuration parameter. Usage of the brightness detection might increase the false positive rate.

After a ball detection

After the systems has detected a passing ball in front of the camera, the system stops analyzing the given images for an amount of time. Otherwise it might happen that the same ball is counted twice.

The delay is depending on the layout of the GBC system and for this the delay time is also configurable.

Two good parameters are:

Capture delay
Delay between two image captures of the camera.
Value: 30ms
Capture delay after detection
The delay of time between the detection of a ball in an image and the next time checking again for a passing ball.
Value: 150ms

This allows a theoretical throughput of 5 Lego balls per second. Note: GBC is defined with 1 Lego ball per second. But as you know we ignore the standard in our constructions. Because of this the Android GBC Ball Counter implementation contains also a balls per second calculation.

Limitation

[SCREENSHOT ANDROID GBC BALL COUNTER] If two balls are passing very close succession there are false negative counts. This means, the two balls are counted as one ball. This is the greatest limitation of this non-contact method. The problem can be limited only by structural measures on GBC system.

Implementation

Image format

I use the YUV 4:2:0 8 bit image format delivered by the Camera2 Android API. This API was introduced with Android 5.0 (Lollipop).

The YUV image format has some advantages over the JPEG format: it doesn't pipe the image data through the RGB calculation and compression routines which takes a lot of time and other resources and doesn't produce more important information.

Android 5.0 Bug

Due to a bug in Android 5.0 the YUV subsystem doesn't deliver correct UV (chrominance) information. only the first 600+ bytes contains color information. The rest of the bytes are always zero. Only the Y (luminance) values are correct. This means: for Android 5.0 the implementation only supports the brightness ball passing detection algorithm.

More information

The implementation of the GBC is open source under the terms of the GNU General Public License 3 and the source code is available on Github. There you can dive deeper into the ball detection strategy.

How it works in practice

[EINE DUNKELHAARIGE FRAU STEHT AN EINER MAUER (BERLINER MAUAER - EAST SIDE GALERY) UND ZÜNDET SICH EINE ZIGARETTE AN. DABEI BEUGT SIE SICH VOR UND HAT IHR LINKES BEIN AN DIE WAND GEWINKELT.]
 

Ich habe heute Android 6.0 (Marshmallow) auf meinem Motorola Moto G (2. Generation) installiert. Hauptsächlich wegen eines Bugfixes im YUV_420_888 Image capturing. Das Camera2 API liefert bei Android 5.0 (Lollipop) keine korrekte Farbinformation (siehe auch hier). Diese Farbinformation benötigt ich aber, um den Lego® GBC Ball Counter weiter zu optimieren.

Bei der Installation hatte ich angegeben, dass die SD-Card als interner Speicher verwendet werden soll. Dadurch werden Daten beispielsweise nicht im Speicher des Smartphone gespeichert, sondern auf der Speicherkarte selbst. Vorteil: der interne Speicher des Gerätes wird weniger belastet. Nachteil: mit dem Android Device Monitor aus dem Android Studio kann ich nicht mehr direkt auf das Verzeichnis "/storage/emulated/0/Android/data/de.speexx.lego.gbc.ballcounter/files" zugreifen. Damit kann ich nicht einfach die Beispielbilder, die ich gespeichert habe, herunter laden.

Android 6.0 kann die Daten trotzdem erreichen und kopieren. Dazu muss ich die Einstellungen öffnen. Und dort dann über

Speicher & USB → SD‑Karte von SanDisk* → Erkunden → Android → data → de.speexx.lego.gbc.ballcounter

navigieren. Im Unterverzeichnis files liegen dann die erzeugten *.yuv Dateien.

Da Android mit der Endung yuv nichts anfangen kann, können die Dateien auch nicht geöffnet werden. Allerdings können sie mit einem längeren berühren des Namens ausgewählt werden, auch mehrere Dateien. Die so ausgewählten Dateien können dann geteilt werden. Ich habe die Dateien in Google Drive geteilt und dann von dort wieder herunter geladen.

Ziemlich komplizierte Prozedur und sicherlich nicht für die regelmässige Anwendung geeignet.

Gute Nachricht

Die Chrominanzwerte U und V sind jetzt vorhanden und auch die Strides Angaben machen jetzt Sinn: jeweils 4 Luminanzwerte mit einem U und einem V Wert.

Todo

In den nächsten Tagen werden ich den GBC Ball Counter aufwärtskompatibel anpassen.


* Name SanDisk kann eventuell abweichen.

[PANORAMASICHT ÜBER BERLIN]
 

Wir waren auf dem Heimweg. Von Opa. Wir machen Heilgabend immer einen kurzen Spaziergang. Denn der Weihnachtsmann kommt bei uns nur, wenn niemand in der Wohnung ist. Diesmal sind wir über den Hausburgspielplatz zurück gegangen. Von dort können wir sehen, ob in der Wohnung Licht an ist. Immer ein untrügliches Zeichen für das Kind: der Weihnachtsmann war da.

In der Otto-Ostrowski-Straße hielt uns gegenüber plötzlich ein Caddy an. Aus den Augenwinkeln sah ich: der Weihnachtsmann sass hinterm Steuer. Wir schauten genau hin. Und tatsächlich, ein Weihnachtsmann stieg aus dem Auto einer Elektroinstallationsfirma. Fasziniert schaute das Kind hin. Und dann passierte es: der Weihnachtsmann sah uns und winkte uns zu sich her. Er erzählte uns, dass der Schlitten einen Defekt hat und er deswegen auf das Auto umsteigen musste. Dann stellte er mir die Frage, ob ich auch artig gewesen bin im letzten Jahr. Am Ende wühlte er in seinem Sack. Ganz tief unten fand er ein Geschenk für das Kind. Einen Ring mit blinkenden LED Lichtern. Das Kind war sprachlos. Hatte es bis jetzt vielleicht leichte Zweifel, dass es den Weihnachtsmann wirklich gibt, so waren diese jetzt vollkommen zerstreut.

Für solche Dinge liebe ich diese Stadt. Völlig ungeplant erscheint der Weihnachtsmann an Heiligabend wie aus dem Nichts und dann gibt es auch noch ein Geschenk.

[EIN MANN STEHT VOR EINEM KIOSK UND SCHEINT ETWAS ZU KAUFEN. DER KIOSK HAT KEINE EINGANGSTÜR, SONDERN NUR EINE KLEINE VERKAUFSLUKE. ÜBER DER VERKAUFSLUKE STEHT HANDGESCHRIEBEN: "VERKAUF HIER"]
 

I've created a Lego Digital Designer model for the Ferris wheel of the Lego GBC Kugelbahn #5.

Download

LEGO MODEL

Find our implementation of the Akiyuky Train design of the Kugelbahn #5 here. The blog post also contains downloadable LXF files for LDD.


Supplement: Due to an issue with LDD (version 4.3.8 and 4.3.9, Mac OS) it might happen that 6 parts are removed when opening the LXF file again. The parts are perfectly connected in the virtual model and in the real world model. I've no idea why this happen.

The following image shows the central parts (6558) removed by the program circled orange. These parts and one of the attached liftarms (32525) to these parts are central component of the wheel to work correct.

LEGO MODEL
 

Our last Lego GBC build, Kugelbahn #5, has a train module based on the design of Kawaguchi Akiyuky. The module with the tipping function, based on the idea of our daughter.

The design contains a train module which changes its direction autonomous. The train may also trigger further actions at direction change time. The gear system must transmit huge power from the motor to the direction change part. And there the gear system has a weak point in the following figure below orange circled.

LEGO MODEL

If this part is not build solid, the gear-wheels overrunning very fast. We need a couple of tries to build this part solid in a way that this not happen. I've created a Lego Digital Designer model for you. It shows out implementation of the Akiyuky design of the train. Rebuilding the design is very simple.

You can download the LDD file from here.

LEGO MODEL

The whole model must not been built filigran. The train must have a big weight, so that the Lego train wheels do not spin. I propose to move the battery box toward more to the drive wheels in our model. That may only bring a little more grip and makes the model a little more reliable.

An additional weak point - were I found no proper solution yet - is the suspension of the driving wheels. The axes become loose over time and travels on straight line press on after about 30-50 again. With curvy rails more often.

LEGO MODEL

Finally a simple LDD model for the direction change module. It's straight forward. We use the Lego Technic Knob-Wheels (32072) to press a Shock Absorber 9.5L Soft Spring (2909c03).

LEGO MODEL

Download