Suchergebnisse : "tag:MapReduce"
| 1 |
HadoopTestCase Ergebnisse prüfen
Mit HadoopTestCase bietet Hadoop eine einfache Möglichkeit den Hadoop Map/Reduce Prozess in einer Testumgebung auszuführen. Das Ergebnis des Prozesses zu prüfen ist indirekt über RunningJob möglich. RunningJob wird von JobClient.runJob(job... |
21.03.2008 |
| 2 |
Zuviel Gehirn killt Gedächnis
Im zweiten Schritt der Backend-Kette (siehe Eintrag von gestern) für eine Entity Oriented Search werden sehr grosse Dokumente erzeugt. Zu gross für ein bearbeiten auf commodity Hardware. Die Dokumente für alle Jahre (year = XXXX) mit den Konzepten brai... |
11.02.2008 |
| 3 |
Lucene Index mit Hadoop erstellen und mit HadoopTestCase prüfen
Das letzte Glied der Backend-Kette für eine Entity Oriented Search ist fertig. In einem ersten Schritt habe ich Medline Abstracts in Sätze zerlegt und eventuell doppelt vorhandene heraus gefiltert. In einem zweiten Schritt habe ich relevante Konzepte ... |
10.02.2008 |
| 4 |
HadoopTestCase und der DistributedCache
Hinweis: Der Eintrag kann sich in den nächsten Tagen noch ändern. --> Ich habe heute in eine Hadoop MapReduce-Applikatio... |
07.02.2008 |
| 5 |
Doppelte Sätze in Medline Abstracts
Nach der Medline Abstract Satzzerlegung habe ich heute im Hadoop-Cluster doppelte Sätze eleminiert. Hierfür werden die Abstracts mit dem java.text.BreakItera... |
04.02.2008 |
| 6 |
HBase auf Mac OS
Eine lokales HBase mit kompletten Hadoop (0.15.1) überlebt auf dem Mac den Ruhezustand nicht. Das gesamte Setup muss herunter gefahren und neu gestartet werden. Nach dem herunter fahren eventuell noch laufende Prozesse mit "kill -9" abgeschiessen. Nung... |
08.01.2008 |
