Beitrag #41

Hallo Boku,

Ich habe endlich meinen Konverter fertig. Alles funktioniert.
Und nun bin ich dabei die Dateien mit Word durchzusehen.
Ab Seite 107 auf Seite 108 werden die Kanji nur noch mit Kaestchen dargestellt.

Woran kann das liegen?

Dann hab ich die Datei mit Notepad geladen. Da waren nur die Kaestchen zu sehen.

Anschliessend ohne Aenderung abgespeichert im Format Unicode
und danach mit Word neu geladen.

Die Einstellungen Unicode wurden erkannt. Aber auch hier nach Seite 107 waren die Kanji nicht mehr sichtbar.

Habe die Datei nach @ durchsucht. Es haette ja sein koennen, dass ein solches Zeichen das ganze unterbrochen haette. Nichts dergleichen in der Datenbank.

Auch ausschneiden, und von da an weitermachen, geht nicht.

Aber ausschneiden, abspeichern und wieder laden, dann werden die ersten 110 Seiten mit Kanji dargestellt.

Ich glaube das Problem ist dann nicht die Routine, sondern Word.
Die kommen auch nicht mit solchen grossen Dateien klar.

Und dabei habe ich die neuste Office 2003 Version. fuer Windows-2000.

Dann habe ich mal nach einem Kanji gesucht, und Word hat dann auch jene Kanji angezeigt die das gesuchte Kanji inne hatten.
Also muesste es funktionieren.

Wie gesagt liegt somit der Fehler nicht am Script.

?!?

Beitrag #42

Es gibt was neues.

Ha! Wusste doch dass ich das auch finden kann.

Man laedt zuerst die Datei mit dem Word Programm,die man mit dem Helferlein-boku Koverter kompiliert hat, und zwar als Textdatei oder auch im Unicode Format.

Dann faxt man nicht lange rum und speichert diese ganze Datei dann wieder im Textformat ab (JEDOCH dieses mal in Unicode UTF-8).

Dann schliesst man Word und oder man schliesst nur diese Datei und laedt sie wieder in Text Format aber dieses Mal in Unicode UTF-8 Format.

Und siehe da, alle Kaestchen werden nun bis ans Ende der Datei in Kanji dargestellt.

Also ist dieses Problem auch behoben.

@Boku,

Deine .js Datei laesst sich auch im MS-DOS Modus oder von einer Batch Datei aus starten.

Wenn ich nun noch einen Timer in diese .bat Datei reinbringen koennte oder in mein Programm, dann waeren die Dateien binnen einem Mausklick so fertig praepariert dass sie mit Word aufgenommen werden koennen,
wieder abgespeichert in Unicode UTF-8
und schon bereit stehen fuer die Aufnahme in das Handygeraet.

Wahnsinn.

Danke an alle.

Beitrag #43

Hm.. kann schon sein das Word da Probleme hat.
Hoert man immer wieder das es bei grossen Dateien ziggt.
Notepad ist bei grossen Dateien auch nicht ideal, sollte aber trozdem Kanji anzeigen.
(Hast du einen Font ausgewahlt der Kanji unterstuetzt?)
Wie auch immer, grosse Textdateien machen oft Probleme wenn sie komplet in den Speicher geladen werden muessen.
Blockweise anzeigende Programme waeren da besser.
(E.g "more" aber ich weiss nicht ob das mit Unicode umgehen kann).

Egal, die Frage ist ob die Umwandlung wirklich irgendwo fehlgeschlagen ist oder ob das ein Problem des Anzeigeprogramms ist.
Bei letzterem waere es ja egal.
Wie schon gesagt, suchen kann man auch Zeilenweise. (Das Umwandlungsscript macht es auch so).

Kannst du mal nur die Zeilen ab denen das Problem auftritt in eine Texdatei exportieren und in Unicode konvertieren?
Wenn das klappt dann funzt das Script.. (bzw. die convert Funktion)

Falls noetig koennte man das Script ja auch so umschreiben das es all 1000 - 2000 Zeilen eine neue Datei anlegt.
Wenn noetig koennte man die Dateien dann nacher ja wieder zusammenfuegen.

Beitrag #44

@zongoku
Ich weiss nicht warum du unbedigt mit Word arbeiten willst.
Hilft dir doch in diesem Fall ueberhaupt nicht weiter oder.
Text mit UTF8 macht doch alles so wies soll.

Die vom Konverter erstellte Datei ist bereits Unicode UTF8.
Da muss nichts mehr konvertiert werden.
Warum ein Laden, Speicher, wieder Laden noetig sein soll ist mir schleierhaft.
Na egal, wichtig ist das alle Kanji da sind.

Aber, mit einer 20MB Word Datei kannste in einem Handy nichts machen. (auch wenn das Handy .doc Dateien lesen kann.=
Ist mit 20MB Text Dateien das Gleiche.
Soweit ich weiss muessen Texte vollstaendig in den Speicher des Handys geladen werden um darin suchen zu koennen.
20MB freien internen (SD zaehlt hier nicht) Speicher haben nur sehr wenige Handys.

Ich bin mir fast sicher das eine funktionierende Suchfunktion nur ueber ein Zeilenweises lesen der Textdatei funktioniert.
Und dafuer brauchts eine fuer das Handy angepasstes kleines Program.

Aber KaneTensens probierts ja mal so wie von dir angedacht aus.
Bin gespannt was rauskommt.
Glaub nicht das das so praktikabel ist... aber wer weiss.


Yep, .js kannste sowohl unter DOS (DOS Fenster) als auch innerhalb einer DOS Batch ausfuehren lassen.
(Beschraenkt auf XP und W2K)

Beitrag #45

@Boku,

Ich probiere das dann noch mal aus.
Die exportierten Dateien aus dem .dbf Format haben ne Groesse von 12MB. (2x12MB).

Die konvertierte Datei mit umw.js im Dos Fenster (ohne anklicken) hat die input.txt Datei in eine Output.txt Datei von 22MB vergroessert.

umw.js laeuft im Hintergrund (auch bei Windows-XP in einem Dos-Fenster).

So nun lade ich die Datei mit Word mit dem Format UTF-8.
Mal sehen.

Nein das geht nicht. Da werden alle Buchstaben auch die normalen mit Kaestchen angezeigt.

Auch wenn man dann alles markiert und VERDANA auswaehlt, erfolgt nix.

Gut nun habe ich die Datei mit nur Unicode geladen, (Vorfuehrungseffekt oder wasweissich) jetzt hat Word die ganze Datei bis ganz unten hin, mit Kanji ausgespuckt).

Deine Routine funktioniert.

EDIT.

Also die Routine zur Erstellung einer Text Datei fuers Handy und im besonderen fuer das sdict Format mit Kanji waere somit (glaube ich) abgeschlossen.

Wenn Kane Tensen mit den Kanji nichts anfangen kann,
Kann die Routine auch umgeaendert werden in eine ohne Kanji.

Waere schade, man koennte aber dagegen nichts machen.
Und die viele Arbeit von Helferlein und Boku waere dann auch umsonst gewesen. (nicht aber fuer mich, denn so etwas finde ich dennoch toll).

Die Dateien waeren in einem NUR Text-Dateien. Mit 2 x 12 MB Groesse.

So denn, Wenn nun aber jemand mit diesen wenigen Daten was anfangen kann, oder benoetigt es in einem anderen Format aufgebaut. (zB. mit einem anderen Zeichen zwischen den Feldern, der kann sich dann mit mir per KN in Verbindung setzen. Dann koennten wir versuchen dies auch zu loesen).

Das wichtigste ist nun gemacht.

Danke.

Beitrag #46

@zongoku
Unicode ist nicht UTF-8.
Unicode ist ein etwas schwammiger Begriff fuer einen Zeichensatz der alle weltweiten Schriftzeichen beinhaltet.
Wie ein Zeichensatz wirklich in Binaer kodiert wird wird in versch. RFCs festgelegt und eben durch UTF-XXX, oder andere Kuerzel bezeichnet.


Z.B
2Byte Unicode (UTF-16)
Alle Zeichen werden mit 2Byte kodiert (Auch die aus dem urspruenglichen ASCII Zeichensatz)
Sprich ein ASCII Text wird doppelt so gross.

UTF-8 Unicode
1-4 Byte werdeb zur Kodierung verwendet.
ASCII Zeichen bleiben 1 Byte lang aber andere koennen zw. 2 und 4 Byte lang sein.
Das erklaert auch die Vergroesserung deiner Datei.

Wenn also die Text Datei in UTF-8 gespeichert ist solltest du sie auch mit UTF-8 oeffnen.
Allerdings sollte Word und Konsorten in der Lage sein das automatisch zu erkennen.
Also, nix einstellen, einfach rechts Klick, oeffnen mit -> Program deiner Wahl... fertig.

Interessant waere allerdings in welchem Format Word eigentlich abspeichert.
Hab mal schnell in der Hilfe gekuckt aber nix gefunden.
Sprich, welches Format WORD verwendet bleibt ungewiss und somit auch das Verhalten anderer Programme die diese Datei oeffnen.

Beitrag #47

Stimmt.

Wenn man mal mit UTF-8 abgespeichert hat muss man mit diesem Format wieder laden.

Interessant jedoch, wieviele Formate es gibt.

Kane Tensen's Programm mit dem sdict, funktioniert mit UTF-8.
Gestern wollte er eine Datei mit Unicode-EUC glaube ich war es, was aber vom Handy nicht erkannt wurde. Auf mein anraten hat er die Datei dann in UTF-8 abgespeichert und alles hat funktioniert.

Gut denn.

Kane Tensen wird womoeglich einen ausfuehrlichen Bericht schreiben, Wie das alles funktioniert.

Ich hab mich hergegeben um ihm das zu ermoeglichen. Ich selbst kann und werde niemals in den Genuss von solchen Programmen kommen, da ich ja fast blind bin.

Was wir spaeter mal aufbauen koennten, waere eine Liste der Handy, die mit welchem Programm und welchem Dateiformat, dann welche Datei (was japanisch-zu anderen Sprachen angeht) machen kann.

Und nun spiele ich ne Partie sudoku mit einem von mir erstellten Programm auf Basis von Clipper 87 und dBase Format.

Das geht auch.

Beitrag #48

@zongoku
Scheint ich hab ein Brett vorm Kopf.
Das Script speichert nicht in UTF-8 sondern in "Unicode"
So stehts zumidest in der Doku fuer die Funktion "CreateTextFile".
Das zweite "true" schaltet Unicode ein.
In der Doku steht aber nichts welches Format benutzt wird.
In diesen Faellen ist es dann meisst die 2Byte Variante.
Sprich jedes Zeichen wird mit 2Byte gespeichert was dann auch die fast Verdopplung der Dateigroesse erklaert.
(Da haette ich egentlich drauf kommen muessen. Habs ja selbst geschrieben.)

Also, wenn UTF-8 benoetigt wird (ist dann auf jeden Fall eine kleinere Datei weil ja alle ASCII Zeichen nur mit 1Byte abgelegt werden) muss die Datei tatsaechlich zuerst mit Notpad geoeffnet und dann explizit mit UTDF-8 abgespeichert werden.

Ich les mal nach ob die JavaScript Funktion "CreateTextFile" UTF-8 auch erlaubt aber.. ich denk mal direkt geht da nichts.

Beitrag #49

@Boku,

Es ist Windows-2000 mit Office 2003 der die UTF-8 mit allen Kanji bis zur untersten Zeile nicht darstellt.

Windows-XP mit Office 2003 kann das tun.
Bei Windows 2000 (Verdana) werden die ersten 78 Seiten (variert mit der Schriftgroesse) mit Kanji dargestellt.

Dann komm ich wohl nicht drum rum, mir womoegilch mal ein XP auf meinem Computer zu installieren.

Beitrag #50

Hallo,

ihr habt zwar geschrieben, dass jap. Schriftzeichen nur von Nokia Handys unterstützt werden, aber mit Smartphones und einem entsprechenden Programm müsste sowas doch auch möglich sein ?

Weiß da wer was ?

edit:

@Nora: Muss man bei dem von dir genannten Link (Symbian Series 60) was bezahlen ? (da dort ja horrende Preise stehen :/)